Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/hadoop/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Hadoop:JPS和hdfs管理报告中用于检查可用数据节点数的冲突_Hadoop_Mapreduce_Bigdata - Fatal编程技术网

Hadoop:JPS和hdfs管理报告中用于检查可用数据节点数的冲突

Hadoop:JPS和hdfs管理报告中用于检查可用数据节点数的冲突,hadoop,mapreduce,bigdata,Hadoop,Mapreduce,Bigdata,我正在开发一个五节点hadoop多节点集群。在设置集群之后,我使用JPS命令检查所有节点是否正确连接。以下是分别在一个主节点和所有其他四个从节点中运行JPS命令后的结果 主节点 从节点 但是,当我尝试从命令hdfs dfsadmin-report进行检查时,得到了以下结果: Configured Capacity: 242317230080 (225.68 GB) Present Capacity: 224333357056 (208.93 GB) DFS Remaining: 22433333

我正在开发一个五节点hadoop多节点集群。在设置集群之后,我使用JPS命令检查所有节点是否正确连接。以下是分别在一个主节点和所有其他四个从节点中运行JPS命令后的结果

主节点

从节点

但是,当我尝试从命令hdfs dfsadmin-report进行检查时,得到了以下结果:

Configured Capacity: 242317230080 (225.68 GB)
Present Capacity: 224333357056 (208.93 GB)
DFS Remaining: 224333332480 (208.93 GB)
DFS Used: 24576 (24 KB)
DFS Used%: 0.00%
Under replicated blocks: 0
Blocks with corrupt replicas: 0
Missing blocks: 0

-------------------------------------------------
Datanodes available: 1 (1 total, 0 dead)

Live datanodes:
Name: 127.0.0.1:50010 (localhost)
Hostname: localhost
Decommission Status : Normal
Configured Capacity: 242317230080 (225.68 GB)
DFS Used: 24576 (24 KB)
Non DFS Used: 17983873024 (16.75 GB)
DFS Remaining: 224333332480 (208.93 GB)
DFS Used%: 0.00%
DFS Remaining%: 92.58%
Configured Cache Capacity: 0 (0 B)
Cache Used: 0 (0 B)
Cache Remaining: 0 (0 B)
Cache Used%: 100.00%
Cache Remaining%: 0.00%

我无法理解为什么可用的数据节点在上述报告中显示为1。另外,我的程序运行非常慢,所以我猜只有一个数据节点是活动的。请说明此异常背后的原因。

您在主服务器或从服务器中执行hdfs DFSAMIN-report命令的位置?请检查所有服务器中的日志以获取线索。Jps只显示这些进程正在运行,但它并没有声明它们的连接情况。@MarHserus:在主节点中。在从节点中,我收到来自re3el/127.0.0.1对主节点的调用:54310连接失败异常:java.net.ConnectException:连接被拒绝;错误消息。@LauriPeltonen:我观察到127.0.0.1正在侦听netstat中的端口,而不是外部IP地址。正如在其他帖子中提到的,我已经删除了/etc/hosts文件中的127.0.1.1行。请建议一种替代方案。您可以在没有密码的情况下在服务器之间使用ssh吗?您是否已在主机文件中添加了所有服务器及其计算机名?我个人在所有服务器上都有相同的主机文件
1816 NodeManager
1711 DataNode
2154 Jps
Configured Capacity: 242317230080 (225.68 GB)
Present Capacity: 224333357056 (208.93 GB)
DFS Remaining: 224333332480 (208.93 GB)
DFS Used: 24576 (24 KB)
DFS Used%: 0.00%
Under replicated blocks: 0
Blocks with corrupt replicas: 0
Missing blocks: 0

-------------------------------------------------
Datanodes available: 1 (1 total, 0 dead)

Live datanodes:
Name: 127.0.0.1:50010 (localhost)
Hostname: localhost
Decommission Status : Normal
Configured Capacity: 242317230080 (225.68 GB)
DFS Used: 24576 (24 KB)
Non DFS Used: 17983873024 (16.75 GB)
DFS Remaining: 224333332480 (208.93 GB)
DFS Used%: 0.00%
DFS Remaining%: 92.58%
Configured Cache Capacity: 0 (0 B)
Cache Used: 0 (0 B)
Cache Remaining: 0 (0 B)
Cache Used%: 100.00%
Cache Remaining%: 0.00%