如何使用hadoop继续输入
我有一个案例,我使用Hadoop来侦听/接收来自JMS队列的消息。如果队列有消息,则触发map/reduce程序,因此我们不希望map-reduce死亡,我们需要多次循环执行map/reduce代码 我的问题是:如何使用hadoop继续输入,hadoop,mapreduce,Hadoop,Mapreduce,我有一个案例,我使用Hadoop来侦听/接收来自JMS队列的消息。如果队列有消息,则触发map/reduce程序,因此我们不希望map-reduce死亡,我们需要多次循环执行map/reduce代码 我的问题是: public boolean nextKeyValue()抛出IOException使用此方法,我们每次都返回键和值。如果我返回false,map reduce代码将运行到finished。如果我返回true,map/reduce代码将等待下一个键值,而不是调用reduce方法。那么,
public boolean nextKeyValue()抛出IOException
使用此方法,我们每次都返回键和值。如果我返回false,map reduce代码将运行到finished。如果我返回true,map/reduce代码将等待下一个键值,而不是调用reduce方法。那么,有没有办法在映射方法之后立即运行reduce方法,并且nextKeyValue返回true以等待JMS队列的下一条消息呢
一个不是简单地使用Hadoop进行连续输入:)是的,它似乎是解决问题的错误解决方案。嗯…,那么我的案例应该如何实现呢?你对此有什么想法吗。我只想使用JMS队列来调用Mapreduce,并确保Mapreduce可以使用连续输入。