Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/xml/15.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Java Zookeeper支持的共享地图(小键值存储)_Java_Hadoop_Mapreduce_Apache Zookeeper_Apache Curator - Fatal编程技术网

Java Zookeeper支持的共享地图(小键值存储)

Java Zookeeper支持的共享地图(小键值存储),java,hadoop,mapreduce,apache-zookeeper,apache-curator,Java,Hadoop,Mapreduce,Apache Zookeeper,Apache Curator,我有很多Hadoop MapReduce应用程序(作业),它们需要共享一些“活的”小键值存储。实际上,它是关于在作业过程中根据某些字符串条件生成字符串ID的 因此,它看起来像是共享的Map,可以对其进行修改,并在MapReduce作业组件之间共享值(在我的情况下,映射程序是这样的,但这并不重要) 我看到的可见方法是apachezookeeper。我已经在我的Hadoop集群上提供了这项服务。在这种情况下,我需要的是可靠的ZooKeeper-电源KeyValue存储。目前,我将其视为已声明的应用程

我有很多Hadoop MapReduce应用程序(作业),它们需要共享一些“活的”小键值存储。实际上,它是关于在作业过程中根据某些字符串条件生成字符串ID的

因此,它看起来像是共享的
Map
,可以对其进行修改,并在
MapReduce
作业组件之间共享值(在我的情况下,映射程序是这样的,但这并不重要)

我看到的可见方法是
apachezookeeper
。我已经在我的
Hadoop
集群上提供了这项服务。在这种情况下,我需要的是可靠的
ZooKeeper
-电源
KeyValue
存储。目前,我将其视为已声明的应用程序之一,但没有看到良好的实现。有什么建议吗?在这种情况下,我需要临时节点(因为MapReduce作业的生命周期有限)

我发现目前最好的选择是
Curator
框架,它包含
SharedValue
类,看起来像我需要的。但我没有看到任何在食谱或例子中使用它的例子。有什么例子吗

对于这个问题,还有其他好的实现方法或现成的解决方案吗?
提前谢谢。

您是否希望与不同的机器共享和同步作业id?即使没有我的影响,作业id也会共享。它是关于MapReduce的。我想在地图绘制者之间共享某种微型存储,我不想再为此提供其他服务。ZK已经存在,所以看起来是合适的解决方案。问题是我们是否能做得更好?