使用Hadoop 2.7.4资源问题配置纱线
我已经按照以下步骤配置了hadoop 2.7.4。DataNode、NameNode和SecondaryNameNode工作正常 但当我运行“纱线”时,NodeManager会显示以下消息 org.apache.hadoop.warn.exceptions.YarnRuntimeException: org.apache.hadoop.warn.exceptions.YarnRuntimeException:received 来自Resourcemanager的关机信号,节点管理器的注册 失败,来自ResourceManager的消息:来自localhost的NodeManager 不满足最小分配,向服务器发送关机信号 节点管理员使用Hadoop 2.7.4资源问题配置纱线,hadoop,hdfs,yarn,hadoop2,Hadoop,Hdfs,Yarn,Hadoop2,我已经按照以下步骤配置了hadoop 2.7.4。DataNode、NameNode和SecondaryNameNode工作正常 但当我运行“纱线”时,NodeManager会显示以下消息 org.apache.hadoop.warn.exceptions.YarnRuntimeException: org.apache.hadoop.warn.exceptions.YarnRuntimeException:received 来自Resourcemanager的关机信号,节点管理器的注册 失败,
我的系统有8个cpu和8 GB RAM。如何使用这些资源配置纱线?我已经找到了很多这样的方法,但找不到任何解决我问题的方法 我在一个课程中遇到了同样的问题。我们使用的是具有2个内核的Amazon虚拟机 在
warn site.xml
中进行了各种修改之后,我们运行了NodeManager,设置了以下属性
<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>4096</value>
</property>
<property>
<name>yarn.nodemanager.resource.cpu-vcores</name>
<value>2</value>
</property>
warn.nodemanager.resource.memory-mb
4096
纱线.nodemanager.resource.cpu-vcores
2.
在您的情况下,您可能需要建立8个虚拟核心