Hadoop集群。地图减少工作卡在地图100%和减少0%
我是Hadoop新手。我尝试根据Apache上给出的示例创建hadoop集群 但是,当我运行map reduce示例时,应用程序被卡在map 100%和reduce 0%的位置 请帮忙 我已经使用Vagrant和Virtual box设置了环境。创建了两个实例 我在一个实例中运行名称节点和数据节点,在另一个实例中运行资源管理器和节点管理器 mapred-siet.xml配置Hadoop集群。地图减少工作卡在地图100%和减少0%,hadoop,Hadoop,我是Hadoop新手。我尝试根据Apache上给出的示例创建hadoop集群 但是,当我运行map reduce示例时,应用程序被卡在map 100%和reduce 0%的位置 请帮忙 我已经使用Vagrant和Virtual box设置了环境。创建了两个实例 我在一个实例中运行名称节点和数据节点,在另一个实例中运行资源管理器和节点管理器 mapred-siet.xml配置 <configuration> <!-- Map Reduce applications config
<configuration>
<!-- Map Reduce applications configuration -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.map.memory.mb</name>
<value>1536</value>
</property>
<property>
<name>mapreduce.map.java.opts</name>
<value>-Xmx1024M</value>
</property>
<property>
<name>mapreduce.reduce.memory.mb</name>
<value>3072</value>
</property>
<property>
<name>mapreduce.reduce.java.opts</name>
<value>-Xmx2560M</value>
</property>
<property>
<name>mapreduce.task.io.sort.mb</name>
<value>512</value>
</property>
<property>
<name>mapreduce.task.io.sort.factor</name>
<value>100</value>
</property>
<property>
<name>mapreduce.reduce.shuffle.parallelcopies</name>
<value>50</value>
</property>
<!-- Map Reduce Job History Server -->
<property>
<name>mapreduce.jobhistory.intermediate-done-dir</name>
<value>/mr-history/tmp</value>
</property>
<property>
<name>mapreduce.jobhistory.done-dir</name>
<value>/mr-history/done</value>
</property>
mapreduce.framework.name
纱线
mapreduce.map.memory.mb
1536
mapreduce.map.java.opts
-Xmx1024M
mapreduce.reduce.memory.mb
3072
mapreduce.reduce.java.opts
-Xmx2560M
mapreduce.task.io.sort.mb
512
mapreduce.task.io.sort.factor
100
mapreduce.reduce.shuffle.ParallelCopy
50
mapreduce.jobhistory.intermediate-done-dir
/mr history/tmp
mapreduce.jobhistory.done-dir
/历史先生/完毕
web-site.xml
e<configuration>
<!-- Resource Manager -->
<property>
<name>yarn.acl.enable</name>
<value>false</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.class</name>
<value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler</value>
</property>
<property>
<name>yarn.scheduler.minimum-allocation-mb</name>
<value>1024</value>
</property>
<property>
<name>yarn.scheduler.maximum-allocation-mb</name>
<value>4096</value>
</property>
<!-- Node Manager -->
<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>2048</value>
</property>
<property>
<name>yarn.nodemanager.vmem-pmem-ratio</name>
<value>2.1</value>
</property>
<property>
<name>yarn.nodemanager.local-dirs</name>
<value>/opt/hadoop-2.6.2/tempData</value>
</property>
<property>
<name>yarn.nodemanager.log-dirs</name>
<value>/opt/hadoop-2.6.2/logDir</value>
</property>
<property>
<name>yarn.nodemanager.log.retain-seconds</name>
<value>10800</value>
</property>
<property>
<name>yarn.nodemanager.remote-app-log-dir</name>
<value>/logs</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!-- History Server -->
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>-1</value>
</property>
<property>
<name>yarn.log-aggregation.retain-check-interval-seconds</name>
<value>-1</value>
</property>
e
warn.acl.enable
假的
warn.resourcemanager.scheduler.class
org.apache.hadoop.warn.server.resourcemanager.scheduler.capacity.CapacityScheduler
warn.scheduler.minimum-allocation-mb
1024
warn.scheduler.maximum-allocation-mb
4096
warn.nodemanager.resource.memory-mb
2048
纱线.nodemanager.vmem-pmem-比值
2.1
纱线.nodemanager.local-dirs
/opt/hadoop-2.6.2/tempData
纱线.nodemanager.log-dirs
/opt/hadoop-2.6.2/logDir
warn.nodemanager.log.retain-seconds
10800
warn.nodemanager.remote-app-log-dir
/日志
纱线.节点管理器.辅助服务
mapreduce_shuffle
纱线.log-aggregation.retain-seconds
-1
纱线.log-aggregation.retain-check-interval-seconds
-1
我现在可以运行应用程序了。因为我认为这是系统所需内存的问题。我更改了以下属性,如下所示 warn.scheduler.maximum-allocation-mb 8192
warn.nodemanager.resource.memory-mb
8192
然后重复这个过程。现在工作正常。你设置了什么样的映射器和还原器?你是不是碰巧有0个Reducer?你也可以发布你的mapreduce代码吗?例如,如果您不使用减速机,这将发生。除非您发布代码,否则我们无法帮助您。感谢您调查此问题。我使用了apache站点中提供的示例。。bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar grep input-output'dfs[a-z.]+'当我尝试将其作为psuedo集群运行时,这对我来说是有效的。另外,我也不知道我必须在哪里设置映射器和减速器的配置文件。请注意此链接的左上角。-核心默认值、hdfs默认值、映射默认值和纱线默认xmls
<!-- Node Manager -->
<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>8192</value>
</property>