Hadoop 在oozie中多次提交同一协调器作业

Hadoop 在oozie中多次提交同一协调器作业,hadoop,oozie,oozie-coordinator,Hadoop,Oozie,Oozie Coordinator,我在Oozie有一份协调员的工作。它使用java操作节点调用工作流 如果我只提交这份工作一次,那么它就完美地工作了。但是,如果我以相同的开始时间和结束时间两次提交此作业,但将不同的arg1提交给主类,则两个作业实例都挂起在“运行”状态,日志如下所示: >>> Invoking Main class now >>> Heart beat Heart beat Heart beat Heart beat ... 如果我杀死其中一个作业,那么另一个作业将再次开始

我在Oozie有一份协调员的工作。它使用java操作节点调用工作流

如果我只提交这份工作一次,那么它就完美地工作了。但是,如果我以相同的开始时间和结束时间两次提交此作业,但将不同的arg1提交给主类,则两个作业实例都挂起在“运行”状态,日志如下所示:

>>> Invoking Main class now >>>

Heart beat
Heart beat
Heart beat
Heart beat
...
如果我杀死其中一个作业,那么另一个作业将再次开始运行

文档说明可以提交具有不同参数的同一协调器作业的多个实例:

并发性:此作业可同时运行的最大操作数。此值允许具体化和提交协调器应用程序的多个实例,并允许操作跟踪延迟处理。默认值为1


那么我做错了什么?我甚至看到来自同一个作业的工作流操作的两个实例处于“正在运行”状态,一旦另一个作业被终止,该状态就会正常运行

好的,我发现了问题。这与HBase并发性有关,并且集群中没有足够的任务插槽。在mapred-site.xml文件中设置以下属性可修复此问题:

<name>mapred.tasktracker.map.tasks.maximum</name>
<value>50 </value> 
mapred.tasktracker.map.tasks.max
50
这与本期类似: