Hadoop:2个datanodes,但UI显示1个,Spark:2个workers UI显示1个

Hadoop:2个datanodes,但UI显示1个,Spark:2个workers UI显示1个,hadoop,apache-spark,hdfs,webhdfs,Hadoop,Apache Spark,Hdfs,Webhdfs,我在SO和Quora以及许多网站上看到了很多答案。当他们为从IP配置防火墙时,一些问题得到了解决,一些人说这是一个UI故障。我很困惑。我有两个datanode:一个是纯datanode,另一个是Namenode+datanode。问题是当我执行:50075时,它只显示一个数据节点(该机器也有namenode)。但是我的hdfs dfsadmin-report显示我有两个datanode,在我的主机上启动hadoop之后,如果我在我的纯datanode机器或从机上运行jps,我可以看到datano

我在SO和Quora以及许多网站上看到了很多答案。当他们为从IP配置防火墙时,一些问题得到了解决,一些人说这是一个UI故障。我很困惑。我有两个datanode:一个是纯datanode,另一个是Namenode+datanode。问题是当我执行
:50075
时,它只显示一个数据节点(该机器也有namenode)。但是我的
hdfs dfsadmin-report
显示我有两个datanode,在我的主机上启动hadoop之后,如果我在我的
纯datanode机器或从机上运行
jps
,我可以看到datanode正在运行。 两台机器上的防火墙都已关闭
sudo ufw status verbose
给出
status:inactive
响应。火花也有同样的场景。Spark UI将worker节点显示为主节点而不是纯worker节点的节点。但worker正在
纯worker机器上运行。再说一次,这是UI故障还是我遗漏了什么?
hdfs dfsadmin-报告

Configured Capacity: 991216451584 (923.14 GB)
Present Capacity: 343650484224 (320.05 GB)
DFS Remaining: 343650418688 (320.05 GB)
DFS Used: 65536 (64 KB)
DFS Used%: 0.00%
Under replicated blocks: 0
Blocks with corrupt replicas: 0
Missing blocks: 0
Missing blocks (with replication factor 1): 0
Pending deletion blocks: 0

-------------------------------------------------
Live datanodes (2):

Name: 10.10.10.105:50010 (ekbana)
Hostname: ekbana
Decommission Status : Normal
Configured Capacity: 24690192384 (22.99 GB)
DFS Used: 32768 (32 KB)
Non DFS Used: 7112691712 (6.62 GB)
DFS Remaining: 16299675648 (15.18 GB)
DFS Used%: 0.00%
DFS Remaining%: 66.02%
Configured Cache Capacity: 0 (0 B)
Cache Used: 0 (0 B)
Cache Remaining: 0 (0 B)
Cache Used%: 100.00%
Cache Remaining%: 0.00%
Xceivers: 1
Last contact: Tue Jul 25 04:27:36 EDT 2017


Name: 110.44.111.147:50010 (saque-slave-ekbana)
Hostname: ekbana
Decommission Status : Normal
Configured Capacity: 966526259200 (900.15 GB)
DFS Used: 32768 (32 KB)
Non DFS Used: 590055215104 (549.53 GB)
DFS Remaining: 327350743040 (304.87 GB)
DFS Used%: 0.00%
DFS Remaining%: 33.87%
Configured Cache Capacity: 0 (0 B)
Cache Used: 0 (0 B)
Cache Remaining: 0 (0 B)
Cache Used%: 100.00%
Cache Remaining%: 0.00%
Xceivers: 1
Last contact: Tue Jul 25 04:27:36 EDT 2017
主节点上的
/etc/hadoop/masters
文件

ekbana
主节点上的
/etc/hadoop/slaves
文件

ekbana
saque-slave-ekbana
/etc/hadoop/masters
从节点上的文件

saque-master
注意:从机上的saque主机和主机上的ekbana映射到同一IP。
此外,UI看起来与

相似,这是因为相同的主机名(ekbana)。 因此,在UI中,它将只显示同一主机名的一个条目

如果您想确认这一点,只需启动一个不在master中的datanode。您可以在UI中看到相应的条目

如果您也启动了其他datanode,它将屏蔽相同主机名的第二个条目


您可以更改主机名并重试。

我也遇到了类似的问题,在
dfshhealth.html
页面上看不到数据节点信息。我有两个主人,分别是主人和奴隶

etc/hadoop/masters (on master machine)
master
etc/hadoop/slaves
master
slave

etc/hadoop/masters (slave machine)
master
etc/hadoop/slaves
slave

它能够在UI上看到datanodes。

谢谢hadoop UI显示了两个datanodes,但spark UI仍然显示了一个worker(一个也是master,而不是纯worker)