Hadoop Oozie MR发射器的意义是什么?

Hadoop Oozie MR发射器的意义是什么?,hadoop,mapreduce,oozie,Hadoop,Mapreduce,Oozie,我用Sqoop、Hive和Pig操作创建了一个简单的Oozie工作流程。对于每一个动作,Oozie都会启动一个MR启动器,然后启动该动作(Sqoop/Hive/Pig)。因此,在工作流程中,总共有6个MR作业用于3个动作 为什么Oozie启动MR启动器来启动操作而不是直接启动操作?我在Apache Flume论坛上发布了同样的消息,下面是回应 它还可以防止Oozie服务器陷入困境或变得 不稳定。例如,如果你有一堆工作流程在运行猪作业, 然后让Oozie服务器运行Pig客户端的多个副本 (这是一个

我用Sqoop、Hive和Pig操作创建了一个简单的Oozie工作流程。对于每一个动作,Oozie都会启动一个MR启动器,然后启动该动作(Sqoop/Hive/Pig)。因此,在工作流程中,总共有6个MR作业用于3个动作


为什么Oozie启动MR启动器来启动操作而不是直接启动操作?

我在Apache Flume论坛上发布了同样的消息,下面是回应

它还可以防止Oozie服务器陷入困境或变得 不稳定。例如,如果你有一堆工作流程在运行猪作业, 然后让Oozie服务器运行Pig客户端的多个副本 (这是一个相对“沉重”的计划)直接。通过移动所有 用户代码和外部客户端映射启动程序作业Oozie中的任务 服务器仍然更轻,更不容易出错。它也可以 由于启动器作业分发 向群集中的其他机器启动/监视作业;否则, Oozie服务器做所有事情,我们必须限制 基于Oozie服务器的机器规格(RAM、CPU、, 等等)。最后,从架构的角度来看,Oozie服务器 它本身是无国籍的;也就是说,所有内容都存储在数据库和 Oozie服务器可以在任何时候关闭,而不会丢失任何东西。如果我们 如果直接从Oozie服务器启动作业,那么我们现在就有了一些 状态(例如,Pig客户端无法重新启动和恢复)