用hadoop实现工厂装配线结构

我想实现一个类似于装配线的结构，在这个结构中，每隔一段时间使用hadoop进行MapReduce。对我应该使用的体系结构/软件堆栈有什么建议吗？

我的建议是：
a） 将每个间隔设置为HDFS目录。我们称之为区间目录
b） 将上一个间隔中完成的每一部分工作作为间隔目录中的子目录。我们称之为任务目录。
c） 有一些好的指示（如小文件）表明任务目录内容已准备好进行处理。
e） 要有一种将在后台运行的监控程序，请定期检查某个任务目录是否已准备好进行处理，并运行适当的MR作业，该作业将此任务目录作为输入，下一个间隔新任务目录作为输出。

作为“完整指示器”文件的替代方案，您可以记住作业ID，然后向hadoop作业跟踪器询问作业状态。这将是一个更精确的解决方案，但却是一个完整的解决方案。因此，我认为它的可靠性较低。
我认为间隔任务之间精确可靠的调度都应该使用Zookeeper。我的建议是：
a） 将每个间隔设置为HDFS目录。我们称之为区间目录
b） 将上一个间隔中完成的每一部分工作作为间隔目录中的子目录。我们称之为任务目录。
c） 有一些好的指示（如小文件）表明任务目录内容已准备好进行处理。
e） 要有一种将在后台运行的监控程序，请定期检查某个任务目录是否已准备好进行处理，并运行适当的MR作业，该作业将此任务目录作为输入，下一个间隔新任务目录作为输出。

作为“完整指示器”文件的替代方案，您可以记住作业ID，然后向hadoop作业跟踪器询问作业状态。这将是一个更精确的解决方案，但却是一个完整的解决方案。因此，我认为它的可靠性较低。
我认为间隔任务之间精确可靠的调度都应该使用Zookeeper。看看。我还没有尝试过Oozie，所以我不知道它的优点和缺点，也不知道为了满足特定的要求需要进行哪些定制

Oozie Coordinator作业是由时间（频率）和数据可用性触发的经常性Oozie工作流作业

看一看。我还没有尝试过Oozie，所以我不知道它的优点和缺点，也不知道为了满足特定的要求需要进行哪些定制

Oozie Coordinator作业是由时间（频率）和数据可用性触发的经常性Oozie工作流作业

---

还看一看级联——我们非常成功地使用它创建了执行扫描、MapReduce作业、做一些数学运算并将结果输出到其他输出（如RDBMS）的流（也称为工作流）。

还看一看级联——我们非常成功地使用它创建了执行扫描的流（称为工作流），MapReduce作业，做一些数学运算，并将结果输出到其他输出，如RDBMS。

谢谢你的回答，尽管我在想，如果我能有一些基于事件的状态转换机制，那就太好了。在这方面有什么想法吗？下面是关于作业执行过程的一个很好的解释。您感兴趣的是关于作业完成的通知，这在文章的最后（作业完成部分）进行了描述。谢谢您的回答，尽管我在想，如果我能有一些基于事件的状态转换机制，那就太好了。在这方面有什么想法吗？下面是关于作业执行过程的一个很好的解释。您感兴趣的是关于作业完成的通知，这在文章末尾（作业完成部分）中有描述。我支持Oozie可能是用于此的正确工具。我支持Oozie可能是用于此的正确工具。