Hadoop datanode出现故障后无法重新启动
我正在使用hadoop 1.2.1运行Map/Reduce任务 在运行繁重的MR任务时,我遇到了数据节点故障。日志消息如下:Hadoop datanode出现故障后无法重新启动,hadoop,Hadoop,我正在使用hadoop 1.2.1运行Map/Reduce任务 在运行繁重的MR任务时,我遇到了数据节点故障。日志消息如下: 2017-01-24 21:55:41,735 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.net.BindException: Problem binding to /0.0.0.0:50020 : at org.apache.hadoop.ipc.Server.bind(Se
2017-01-24 21:55:41,735 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.net.BindException: Problem binding to /0.0.0.0:50020 :
at org.apache.hadoop.ipc.Server.bind(Server.java:267)
at org.apache.hadoop.ipc.Server$Listener.<init>(Server.java:341)
at org.apache.hadoop.ipc.Server.<init>(Server.java:1539)
at org.apache.hadoop.ipc.RPC$Server.<init>(RPC.java:569)
at org.apache.hadoop.ipc.RPC.getServer(RPC.java:530)
at org.apache.hadoop.hdfs.server.datanode.DataNode.startDataNode(DataNode.java:554)
at org.apache.hadoop.hdfs.server.datanode.DataNode.<init>(DataNode.java:321)
at org.apache.hadoop.hdfs.server.datanode.DataNode.makeInstance(DataNode.java:1712)
at org.apache.hadoop.hdfs.server.datanode.DataNode.instantiateDataNode(DataNode.java:1651)
at org.apache.hadoop.hdfs.server.datanode.DataNode.createDataNode(DataNode.java:1669) at org.apache.hadoop.hdfs.server.datanode.DataNode.secureMain(DataNode.java:1795)
at org.apache.hadoop.hdfs.server.datanode.DataNode.main(DataNode.java:1812)
Caused by: java.net.BindException:
at sun.nio.ch.Net.bind0(Native Method)
at sun.nio.ch.Net.bind(Net.java:433)
at sun.nio.ch.Net.bind(Net.java:425) at sun.nio.ch.ServerSocketChannelImpl.bind(ServerSocketChannelImpl.java:223)
at sun.nio.ch.ServerSocketAdaptor.bind(ServerSocketAdaptor.java:74)
at org.apache.hadoop.ipc.Server.bind(Server.java:265)
... 11 more
2017-01-24 21:55:41735错误org.apache.hadoop.hdfs.server.datanode.datanode:java.net.BindException:绑定到/0.0.0.0:50020的问题:
位于org.apache.hadoop.ipc.Server.bind(Server.java:267)
位于org.apache.hadoop.ipc.Server$Listener。(Server.java:341)
位于org.apache.hadoop.ipc.Server.(Server.java:1539)
位于org.apache.hadoop.ipc.RPC$Server(RPC.java:569)
位于org.apache.hadoop.ipc.RPC.getServer(RPC.java:530)
位于org.apache.hadoop.hdfs.server.datanode.datanode.startDataNode(datanode.java:554)
位于org.apache.hadoop.hdfs.server.datanode.datanode.(datanode.java:321)
位于org.apache.hadoop.hdfs.server.datanode.datanode.makeInstance(datanode.java:1712)
位于org.apache.hadoop.hdfs.server.datanode.datanode.InstanceDataNode(datanode.java:1651)
org.apache.hadoop.hdfs.server.datanode.datanode.createDataNode(datanode.java:1669)org.apache.hadoop.hdfs.server.datanode.datanode.secureMain(datanode.java:1795)
位于org.apache.hadoop.hdfs.server.datanode.datanode.main(datanode.java:1812)
原因:java.net.BindException:
位于sun.nio.ch.Net.bind0(本机方法)
位于sun.nio.ch.Net.bind(Net.java:433)
在sun.nio.ch.Net.bind(Net.java:425)和sun.nio.ch.ServerSocketChannelImpl.bind(ServerSocketChannelImpl.java:223)上
位于sun.nio.ch.ServerSocketAdaptor.bind(ServerSocketAdaptor.java:74)
位于org.apache.hadoop.ipc.Server.bind(Server.java:265)
... 还有11个
我猜,在数据节点失败后,它试图重新启动,但失败了
如何使其能够正常重新启动?这样整个MR任务就不会受到损害
我无法增加HDFS中的数据复制系数(当前设置为1),因为磁盘空间问题尝试重新启动时出错??????@UserSx我没有明确尝试重新启动。失败后,日志就是这样写的。(数据节点自行重新启动?)