Mapreduce RM作业在与oozie一起运行时被卡住
我正在oozie上运行mapreduce wordcount作业任务。向纱线提交了2个作业,然后运行高达99%的监控任务被卡住。字数作业已为0% 当我关闭监视器作业时,wordcount作业运行平稳 我使用3台虚拟机组成的集群,配置如下:Mapreduce RM作业在与oozie一起运行时被卡住,mapreduce,yarn,oozie,hadoop2,Mapreduce,Yarn,Oozie,Hadoop2,我正在oozie上运行mapreduce wordcount作业任务。向纱线提交了2个作业,然后运行高达99%的监控任务被卡住。字数作业已为0% 当我关闭监视器作业时,wordcount作业运行平稳 我使用3台虚拟机组成的集群,配置如下: Profile per VM: cores=2 memory=2048MB reserved=0GB usableMem=0GB disks=1 Num Container=3 Container Ram=640MB Used Ram=1GB Unu
Profile per VM: cores=2 memory=2048MB reserved=0GB usableMem=0GB disks=1
Num Container=3
Container Ram=640MB
Used Ram=1GB
Unused Ram=0GB
yarn.scheduler.minimum-allocation-mb=640
yarn.scheduler.maximum-allocation-mb=1920
yarn.nodemanager.resource.memory-mb=1920
mapreduce.map.memory.mb=640
mapreduce.map.java.opts=-Xmx512m
mapreduce.reduce.memory.mb=1280
mapreduce.reduce.java.opts=-Xmx1024m
yarn.app.mapreduce.am.resource.mb=640
yarn.app.mapreduce.am.command-opts=-Xmx512m
mapreduce.task.io.sort.mb=256
有没有办法解决这个问题,让两个作业平稳运行并同时完成?我的oozie版本是4.3.0,hadoop版本是2.7.2。检查容量调度器属性:您可能需要为队列或am增加它,以允许它们启动更多am作业(占用更多资源)。这很有效!我已经解决了,想想你!如果能添加您的解决方案作为未来读者的答案,那就太好了。非常感谢。