Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/hadoop/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Hadoop datanode出现故障后无法重新启动_Hadoop - Fatal编程技术网

Hadoop datanode出现故障后无法重新启动

Hadoop datanode出现故障后无法重新启动,hadoop,Hadoop,我正在使用hadoop 1.2.1运行Map/Reduce任务 在运行繁重的MR任务时,我遇到了数据节点故障。日志消息如下: 2017-01-24 21:55:41,735 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.net.BindException: Problem binding to /0.0.0.0:50020 : at org.apache.hadoop.ipc.Server.bind(Se

我正在使用hadoop 1.2.1运行Map/Reduce任务

在运行繁重的MR任务时,我遇到了数据节点故障。日志消息如下:

2017-01-24 21:55:41,735 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.net.BindException: Problem binding to /0.0.0.0:50020 : 
        at org.apache.hadoop.ipc.Server.bind(Server.java:267)
        at org.apache.hadoop.ipc.Server$Listener.<init>(Server.java:341)
        at org.apache.hadoop.ipc.Server.<init>(Server.java:1539)
        at org.apache.hadoop.ipc.RPC$Server.<init>(RPC.java:569)
        at org.apache.hadoop.ipc.RPC.getServer(RPC.java:530)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.startDataNode(DataNode.java:554)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.<init>(DataNode.java:321)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.makeInstance(DataNode.java:1712)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.instantiateDataNode(DataNode.java:1651)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.createDataNode(DataNode.java:1669)                                                                                                                                                         at org.apache.hadoop.hdfs.server.datanode.DataNode.secureMain(DataNode.java:1795)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.main(DataNode.java:1812)
Caused by: java.net.BindException: 
        at sun.nio.ch.Net.bind0(Native Method)
        at sun.nio.ch.Net.bind(Net.java:433)
        at sun.nio.ch.Net.bind(Net.java:425)                                                                                                                                                                                                          at sun.nio.ch.ServerSocketChannelImpl.bind(ServerSocketChannelImpl.java:223)
        at sun.nio.ch.ServerSocketAdaptor.bind(ServerSocketAdaptor.java:74)
        at org.apache.hadoop.ipc.Server.bind(Server.java:265)
        ... 11 more
2017-01-24 21:55:41735错误org.apache.hadoop.hdfs.server.datanode.datanode:java.net.BindException:绑定到/0.0.0.0:50020的问题:
位于org.apache.hadoop.ipc.Server.bind(Server.java:267)
位于org.apache.hadoop.ipc.Server$Listener。(Server.java:341)
位于org.apache.hadoop.ipc.Server.(Server.java:1539)
位于org.apache.hadoop.ipc.RPC$Server(RPC.java:569)
位于org.apache.hadoop.ipc.RPC.getServer(RPC.java:530)
位于org.apache.hadoop.hdfs.server.datanode.datanode.startDataNode(datanode.java:554)
位于org.apache.hadoop.hdfs.server.datanode.datanode.(datanode.java:321)
位于org.apache.hadoop.hdfs.server.datanode.datanode.makeInstance(datanode.java:1712)
位于org.apache.hadoop.hdfs.server.datanode.datanode.InstanceDataNode(datanode.java:1651)
org.apache.hadoop.hdfs.server.datanode.datanode.createDataNode(datanode.java:1669)org.apache.hadoop.hdfs.server.datanode.datanode.secureMain(datanode.java:1795)
位于org.apache.hadoop.hdfs.server.datanode.datanode.main(datanode.java:1812)
原因:java.net.BindException:
位于sun.nio.ch.Net.bind0(本机方法)
位于sun.nio.ch.Net.bind(Net.java:433)
在sun.nio.ch.Net.bind(Net.java:425)和sun.nio.ch.ServerSocketChannelImpl.bind(ServerSocketChannelImpl.java:223)上
位于sun.nio.ch.ServerSocketAdaptor.bind(ServerSocketAdaptor.java:74)
位于org.apache.hadoop.ipc.Server.bind(Server.java:265)
... 还有11个
我猜,在数据节点失败后,它试图重新启动,但失败了

如何使其能够正常重新启动?这样整个MR任务就不会受到损害


我无法增加HDFS中的数据复制系数(当前设置为1),因为磁盘空间问题

尝试重新启动时出错??????@UserSx我没有明确尝试重新启动。失败后,日志就是这样写的。(数据节点自行重新启动?)