datanode Hadoop 2.7.3单节点错误(伪分布式模式)
我是hadoop的新手,我已经回答了前面的问题,但是评论部分太短了,我无法显示我的日志文件。 . 有人能帮我找到这个日志文件中的错误吗?我将不胜感激。多谢各位datanode Hadoop 2.7.3单节点错误(伪分布式模式),hadoop,hadoop2.7.3,Hadoop,Hadoop2.7.3,我是hadoop的新手,我已经回答了前面的问题,但是评论部分太短了,我无法显示我的日志文件。 . 有人能帮我找到这个日志文件中的错误吗?我将不胜感激。多谢各位 STARTUP_MSG: build = https://git-wip-us.apache.org/repos/asf/hadoop.git -r baa91f7c6bc9cb92be5982de4719c1c8af91ccff; compiled by 'root' on 2016-08-18T01:41Z STARTUP_MSG
STARTUP_MSG: build = https://git-wip-us.apache.org/repos/asf/hadoop.git -r baa91f7c6bc9cb92be5982de4719c1c8af91ccff; compiled by 'root' on 2016-08-18T01:41Z
STARTUP_MSG: java = 1.8.0_121
************************************************************/
2017-03-27 16:14:50,262 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: registered UNIX signal handlers for [TERM, HUP, INT]
2017-03-27 16:14:51,049 INFO org.apache.hadoop.metrics2.impl.MetricsConfig: loaded properties from hadoop-metrics2.properties
2017-03-27 16:14:51,131 INFO org.apache.hadoop.metrics2.impl.MetricsConfig: loaded properties from hadoop-metrics2.properties
2017-03-27 16:14:51,133 INFO org.apache.hadoop.metrics2.impl.MetricsSystemImpl: Scheduled snapshot period at 10 second(s).
2017-03-27 16:14:51,134 INFO org.apache.hadoop.metrics2.impl.MetricsSystemImpl: DataNode metrics system started
2017-03-27 16:14:51,139 INFO org.apache.hadoop.hdfs.server.datanode.BlockScanner: Initialized block scanner with targetBytesPerSec 1048576
2017-03-27 16:14:51,142 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Configured hostname is master.hadoop.lan
2017-03-27 16:14:51,151 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Starting DataNode with maxLockedMemory = 0
2017-03-27 16:14:51,179 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Shutdown complete.
2017-03-27 16:14:51,180 FATAL org.apache.hadoop.hdfs.server.datanode.DataNode: Exception in secureMain
java.net.BindException: Problem binding to [0.0.0.0:50010] java.net.BindException: Address already in use; For more details see: http://wiki.apache.org/hadoop/BindException
at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62)
at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
at java.lang.reflect.Constructor.newInstance(Constructor.java:423)
at org.apache.hadoop.net.NetUtils.wrapWithMessage(NetUtils.java:792)
at org.apache.hadoop.net.NetUtils.wrapException(NetUtils.java:721)
at org.apache.hadoop.ipc.Server.bind(Server.java:425)
at org.apache.hadoop.ipc.Server.bind(Server.java:397)
at org.apache.hadoop.hdfs.net.TcpPeerServer.<init>(TcpPeerServer.java:113)
at org.apache.hadoop.hdfs.server.datanode.DataNode.initDataXceiver(DataNode.java:897)
at org.apache.hadoop.hdfs.server.datanode.DataNode.startDataNode(DataNode.java:1111)
at org.apache.hadoop.hdfs.server.datanode.DataNode.<init>(DataNode.java:429)
at org.apache.hadoop.hdfs.server.datanode.DataNode.makeInstance(DataNode.java:2374)
at org.apache.hadoop.hdfs.server.datanode.DataNode.instantiateDataNode(DataNode.java:2261)
at org.apache.hadoop.hdfs.server.datanode.DataNode.createDataNode(DataNode.java:2308)
at org.apache.hadoop.hdfs.server.datanode.DataNode.secureMain(DataNode.java:2485)
at org.apache.hadoop.hdfs.server.datanode.DataNode.main(DataNode.java:2509)
Caused by: java.net.BindException: Address already in use
at sun.nio.ch.Net.bind0(Native Method)
at sun.nio.ch.Net.bind(Net.java:433)
at sun.nio.ch.Net.bind(Net.java:425)
at sun.nio.ch.ServerSocketChannelImpl.bind(ServerSocketChannelImpl.java:223)
at sun.nio.ch.ServerSocketAdaptor.bind(ServerSocketAdaptor.java:74)
at org.apache.hadoop.ipc.Server.bind(Server.java:408)
... 10 more
2017-03-27 16:14:51,184 INFO org.apache.hadoop.util.ExitUtil: Exiting with status 1
2017-03-27 16:14:51,186 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: SHUTDOWN_MSG:
/************************************************************
STARTUP\u MSG:build=https://git-wip-us.apache.org/repos/asf/hadoop.git -r baa91f7c6bc9cb92be5982de4719c1c8af91ccff;由“root”于2016-08-18T01:41Z编制
启动消息:java=1.8.0\u 121
************************************************************/
2017-03-27 16:14:50262 INFO org.apache.hadoop.hdfs.server.datanode.datanode:[TERM,HUP,INT]的已注册UNIX信号处理程序
2017-03-27 16:14:51049 INFO org.apache.hadoop.metrics2.impl.MetricsConfig:从hadoop-metrics2.properties加载的属性
2017-03-27 16:14:51131 INFO org.apache.hadoop.metrics2.impl.MetricsConfig:从hadoop-metrics2.properties加载的属性
2017-03-27 16:14:51133 INFO org.apache.hadoop.metrics2.impl.metricsystemimpl:计划的快照时间为10秒。
2017-03-27 16:14:51134 INFO org.apache.hadoop.metrics2.impl.MetricSystemImpl:DataNode metrics系统已启动
2017-03-27 16:14:51139 INFO org.apache.hadoop.hdfs.server.datanode.BlockScanner:使用targetBytesPerSec 1048576初始化块扫描程序
2017-03-27 16:14:51142 INFO org.apache.hadoop.hdfs.server.datanode.datanode:配置的主机名为master.hadoop.lan
2017-03-27 16:14:51151 INFO org.apache.hadoop.hdfs.server.datanode.datanode:使用maxLockedMemory=0启动datanode
2017-03-27 16:14:51179 INFO org.apache.hadoop.hdfs.server.datanode.datanode:关闭完成。
2017-03-27 16:14:51180致命org.apache.hadoop.hdfs.server.datanode.datanode:secureMain中的异常
java.net.BindException:绑定到[0.0.0.0:50010]java.net.BindException:地址已在使用中的问题;有关更多详细信息,请参阅:http://wiki.apache.org/hadoop/BindException
位于sun.reflect.NativeConstructorAccessorImpl.newInstance0(本机方法)
位于sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62)
在sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
位于java.lang.reflect.Constructor.newInstance(Constructor.java:423)
位于org.apache.hadoop.net.NetUtils.wrapWithMessage(NetUtils.java:792)
位于org.apache.hadoop.net.NetUtils.wrapException(NetUtils.java:721)
位于org.apache.hadoop.ipc.Server.bind(Server.java:425)
位于org.apache.hadoop.ipc.Server.bind(Server.java:397)
位于org.apache.hadoop.hdfs.net.TcpPeerServer(TcpPeerServer.java:113)
位于org.apache.hadoop.hdfs.server.datanode.datanode.initDataXceiver(datanode.java:897)
位于org.apache.hadoop.hdfs.server.datanode.datanode.startDataNode(datanode.java:1111)
位于org.apache.hadoop.hdfs.server.datanode.datanode.(datanode.java:429)
位于org.apache.hadoop.hdfs.server.datanode.datanode.makeInstance(datanode.java:2374)
位于org.apache.hadoop.hdfs.server.datanode.datanode.InstanceDataNode(datanode.java:2261)
位于org.apache.hadoop.hdfs.server.datanode.datanode.createDataNode(datanode.java:2308)
位于org.apache.hadoop.hdfs.server.datanode.datanode.secureMain(datanode.java:2485)
位于org.apache.hadoop.hdfs.server.datanode.datanode.main(datanode.java:2509)
原因:java.net.BindException:地址已在使用中
位于sun.nio.ch.Net.bind0(本机方法)
位于sun.nio.ch.Net.bind(Net.java:433)
位于sun.nio.ch.Net.bind(Net.java:425)
位于sun.nio.ch.ServerSocketChannelImpl.bind(ServerSocketChannelImpl.java:223)
位于sun.nio.ch.ServerSocketAdaptor.bind(ServerSocketAdaptor.java:74)
位于org.apache.hadoop.ipc.Server.bind(Server.java:408)
... 10多
2017-03-27 16:14:51184 INFO org.apache.hadoop.util.ExitUtil:以状态1退出
2017-03-27 16:14:51186 INFO org.apache.hadoop.hdfs.server.datanode.datanode:SHUTDOWN\u MSG:
/************************************************************
从错误日志看,进程似乎已经在使用端口50010
java.net.BindException:绑定到[0.0.0.0:50010]时出现问题
java.net.BindException:地址已在使用中
在大多数情况下,datanode
进程本身没有正确终止
使用端口获取进程的pid
netstat -ntpl | grep 50010
tcp 0 0 0.0.0.0:50010 0.0.0.0:* LISTEN <pid>/java
ps -ef | grep <pid>
现在端口已空闲,请尝试重新启动群集
如果无法终止进程,请通过将此属性添加到hdfs site.xml
<property>
<name>dfs.datanode.address</name>
<value>hostname:different_port</value>
</property>
dfs.datanode.address
主机名:不同的\u端口
请参阅此
错误的所有可能原因
谢谢@franklinsijo为您提供的时间,它可以工作!
<property>
<name>dfs.datanode.address</name>
<value>hostname:different_port</value>
</property>