Warning: file_get_contents(/data/phpspider/zhask/data//catemap/9/google-apps-script/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
如何使用hadoop继续输入_Hadoop_Mapreduce - Fatal编程技术网

如何使用hadoop继续输入

如何使用hadoop继续输入,hadoop,mapreduce,Hadoop,Mapreduce,我有一个案例,我使用Hadoop来侦听/接收来自JMS队列的消息。如果队列有消息,则触发map/reduce程序,因此我们不希望map-reduce死亡,我们需要多次循环执行map/reduce代码 我的问题是: public boolean nextKeyValue()抛出IOException使用此方法,我们每次都返回键和值。如果我返回false,map reduce代码将运行到finished。如果我返回true,map/reduce代码将等待下一个键值,而不是调用reduce方法。那么,

我有一个案例,我使用Hadoop来侦听/接收来自JMS队列的消息。如果队列有消息,则触发map/reduce程序,因此我们不希望map-reduce死亡,我们需要多次循环执行map/reduce代码

我的问题是:

  • public boolean nextKeyValue()抛出IOException
    使用此方法,我们每次都返回键和值。如果我返回false,map reduce代码将运行到finished。如果我返回true,map/reduce代码将等待下一个键值,而不是调用reduce方法。那么,有没有办法在映射方法之后立即运行reduce方法,并且nextKeyValue返回true以等待JMS队列的下一条消息呢

  • 或者有谁对Hadoop read continue datasource有好的想法,然后并行地执行map/reduce,与Hstreaming相同的功能


  • 一个不是简单地使用Hadoop进行连续输入:)是的,它似乎是解决问题的错误解决方案。嗯…,那么我的案例应该如何实现呢?你对此有什么想法吗。我只想使用JMS队列来调用Mapreduce,并确保Mapreduce可以使用连续输入。