Java Zookeeper支持的共享地图(小键值存储)
我有很多Hadoop MapReduce应用程序(作业),它们需要共享一些“活的”小键值存储。实际上,它是关于在作业过程中根据某些字符串条件生成字符串ID的 因此,它看起来像是共享的Java Zookeeper支持的共享地图(小键值存储),java,hadoop,mapreduce,apache-zookeeper,apache-curator,Java,Hadoop,Mapreduce,Apache Zookeeper,Apache Curator,我有很多Hadoop MapReduce应用程序(作业),它们需要共享一些“活的”小键值存储。实际上,它是关于在作业过程中根据某些字符串条件生成字符串ID的 因此,它看起来像是共享的Map,可以对其进行修改,并在MapReduce作业组件之间共享值(在我的情况下,映射程序是这样的,但这并不重要) 我看到的可见方法是apachezookeeper。我已经在我的Hadoop集群上提供了这项服务。在这种情况下,我需要的是可靠的ZooKeeper-电源KeyValue存储。目前,我将其视为已声明的应用程
Map
,可以对其进行修改,并在MapReduce
作业组件之间共享值(在我的情况下,映射程序是这样的,但这并不重要)
我看到的可见方法是apachezookeeper
。我已经在我的Hadoop
集群上提供了这项服务。在这种情况下,我需要的是可靠的ZooKeeper
-电源KeyValue
存储。目前,我将其视为已声明的应用程序之一,但没有看到良好的实现。有什么建议吗?在这种情况下,我需要临时节点(因为MapReduce作业的生命周期有限)
我发现目前最好的选择是Curator
框架,它包含SharedValue
类,看起来像我需要的。但我没有看到任何在食谱或例子中使用它的例子。有什么例子吗
对于这个问题,还有其他好的实现方法或现成的解决方案吗?
提前谢谢。您是否希望与不同的机器共享和同步作业id?即使没有我的影响,作业id也会共享。它是关于MapReduce的。我想在地图绘制者之间共享某种微型存储,我不想再为此提供其他服务。ZK已经存在,所以看起来是合适的解决方案。问题是我们是否能做得更好?