Java Hadoop-资源是<;内存:0,vCores:0>;

Java Hadoop-资源是<;内存:0,vCores:0>;,java,linux,ubuntu,hadoop,Java,Linux,Ubuntu,Hadoop,我试图在AWS上设置的集群上运行wordcount示例。它挂起,只是说正在运行作业 我在resourcemanager日志中发现此错误 我可以通过HDFS UI查看所有节点(namenode:50070) 但是,当我试图通过namenode:8088/cluster/nodes查看有关集群的更多信息时,是否会显示有0个节点 有什么想法吗?我试着编辑warn-site.xml来指定最小/最大内存和内核,但没有成功 **编辑这里是NodeManager日志文件中的错误 2018-02-08

我试图在AWS上设置的集群上运行wordcount示例。它挂起,只是说正在运行作业

我在resourcemanager日志中发现此错误

我可以通过HDFS UI查看所有节点(namenode:50070)

但是,当我试图通过namenode:8088/cluster/nodes查看有关集群的更多信息时,是否会显示有0个节点

有什么想法吗?我试着编辑warn-site.xml来指定最小/最大内存和内核,但没有成功

**编辑这里是NodeManager日志文件中的错误

2018-02-08 19:28:41110 INFO org.apache.hadoop.http.HttpServer2:Jetty绑定到端口8042
2018-02-08 19:28:41111信息org.mortbay.log:jetty-6.1.26
2018-02-08 19:28:41246 INFO org.mortbay.log:Extract jar:file:/usr/local/hadoop/share/hadoop/warn/hadoop-warn-common-2.9.0.jar/webapps/node to/tmp/Jetty\u 0\u 0\u 0\u 8042\u node\u\u 19tj0x/webapp
2018-02-08 19:28:42777 INFO org.mortbay.log:启动HttpServer2$SelectChannelConnectorWithSafeStartup@0.0.0.0:8042
2018-02-08 19:28:42777 INFO org.apache.hadoop.warn.webapp.WebApps:webapp节点从8042开始
2018-02-08 19:28:42783 INFO org.apache.hadoop.warn.server.nodemanager.NodeStatusUpdaterImpl:分配的节点ID为:ec2-34-227-117-73.compute-1.amazonaws.com:39885
2018-02-08 19:28:42797 INFO org.apache.hadoop.warn.client.RMProxy:通过/0.0.0.0:8031连接到ResourceManager
2018-02-08 19:28:42798 INFO org.apache.hadoop.util.JvmPauseMonitor:启动JVM暂停监视器
2018-02-08 19:28:42861 INFO org.apache.hadoop.warn.server.nodemanager.NodeStatusUpdaterImpl:发送0 NM容器状态:[]
2018-02-08 19:28:42866 INFO org.apache.hadoop.warn.server.nodemanager.NodeStatusUpdaterImpl:使用容器向RM注册:[]
2018-02-08 19:28:43935 INFO org.apache.hadoop.ipc.Client:正在重试连接到服务器:0.0.0.0/0.0.0:8031。已尝试0次;重试策略是RetryUpToMaximumCountWithFixedSleep(maxRetries=10,sleepTime=1000毫秒)
2018-02-08 19:28:44936 INFO org.apache.hadoop.ipc.Client:正在重试连接到服务器:0.0.0.0/0.0.0:8031。已试过1次;重试策略是RetryUpToMaximumCountWithFixedSleep(maxRetries=10,sleepTime=1000毫秒)
2018-02-08 19:28:45937 INFO org.apache.hadoop.ipc.Client:正在重试连接到服务器:0.0.0.0/0.0.0:8031。已试过2次;重试策略是RetryUpToMaximumCountWithFixedSleep(maxRetries=10,sleepTime=1000毫秒)
2018-02-08 19:28:46937 INFO org.apache.hadoop.ipc.Client:正在重试连接到服务器:0.0.0.0/0.0.0:8031。已试过3次;重试策略是RetryUpToMaximumCountWithFixedSleep(maxRetries=10,sleepTime=1000毫秒)
2018-02-08 19:28:47938 INFO org.apache.hadoop.ipc.Client:正在重试连接到服务器:0.0.0.0/0.0.0:8031。已试过4次;重试策略是RetryUpToMaximumCountWithFixedSleep(maxRetries=10,sleepTime=1000毫秒)

2018-02-08 19:28:48939 INFO org.apache.hadoop.ipc.Client:正在重试连接到服务器:0.0.0.0/0.0.0:8031。已试过5次;重试策略是RetryUpToMaximumCountWithFixedSleep(maxRetries=10,sleepTime=1000毫秒)

您在理解Hadoop时犯了一个常见错误。Hadoop由一个文件系统(HDFS)和一个计算引擎(纱线)组成。数据节点仅显示HDFS功能。要运行作业,您需要资源管理器,还需要节点管理器来提供计算能力


资源管理器的屏幕截图证实了这一点。您没有正在运行的节点管理器,因此您没有可用于计算的vCore或内存。

如何解决此问题?当我在所有DataNode上运行jps时,我会看到DataNode、jps和NodeManager。我怀疑您的配置可能已关闭,但如果不深入查看日志文件和Thread site.xmls,就很难判断您的位置。我查看了NodeManager日志,发现了此错误请查看原始帖子您是否在Thread-site.xml中设置了指向RM的
Thread.resourcemanager.hostname