Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/hadoop/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
datanode Hadoop 2.7.3单节点错误(伪分布式模式)_Hadoop_Hadoop2.7.3 - Fatal编程技术网

datanode Hadoop 2.7.3单节点错误(伪分布式模式)

datanode Hadoop 2.7.3单节点错误(伪分布式模式),hadoop,hadoop2.7.3,Hadoop,Hadoop2.7.3,我是hadoop的新手,我已经回答了前面的问题,但是评论部分太短了,我无法显示我的日志文件。 . 有人能帮我找到这个日志文件中的错误吗?我将不胜感激。多谢各位 STARTUP_MSG: build = https://git-wip-us.apache.org/repos/asf/hadoop.git -r baa91f7c6bc9cb92be5982de4719c1c8af91ccff; compiled by 'root' on 2016-08-18T01:41Z STARTUP_MSG

我是hadoop的新手,我已经回答了前面的问题,但是评论部分太短了,我无法显示我的日志文件。 . 有人能帮我找到这个日志文件中的错误吗?我将不胜感激。多谢各位

STARTUP_MSG:   build = https://git-wip-us.apache.org/repos/asf/hadoop.git -r baa91f7c6bc9cb92be5982de4719c1c8af91ccff; compiled by 'root' on 2016-08-18T01:41Z
STARTUP_MSG:   java = 1.8.0_121
************************************************************/
2017-03-27 16:14:50,262 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: registered UNIX signal handlers for [TERM, HUP, INT]
2017-03-27 16:14:51,049 INFO org.apache.hadoop.metrics2.impl.MetricsConfig: loaded properties from hadoop-metrics2.properties
2017-03-27 16:14:51,131 INFO org.apache.hadoop.metrics2.impl.MetricsConfig: loaded properties from hadoop-metrics2.properties
2017-03-27 16:14:51,133 INFO org.apache.hadoop.metrics2.impl.MetricsSystemImpl: Scheduled snapshot period at 10 second(s).
2017-03-27 16:14:51,134 INFO org.apache.hadoop.metrics2.impl.MetricsSystemImpl: DataNode metrics system started
2017-03-27 16:14:51,139 INFO org.apache.hadoop.hdfs.server.datanode.BlockScanner: Initialized block scanner with targetBytesPerSec 1048576
2017-03-27 16:14:51,142 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Configured hostname is master.hadoop.lan
2017-03-27 16:14:51,151 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Starting DataNode with maxLockedMemory = 0
2017-03-27 16:14:51,179 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Shutdown complete.
2017-03-27 16:14:51,180 FATAL org.apache.hadoop.hdfs.server.datanode.DataNode: Exception in secureMain
java.net.BindException: Problem binding to [0.0.0.0:50010] java.net.BindException: Address already in use; For more details see:  http://wiki.apache.org/hadoop/BindException
    at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
    at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62)
    at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
    at java.lang.reflect.Constructor.newInstance(Constructor.java:423)
    at org.apache.hadoop.net.NetUtils.wrapWithMessage(NetUtils.java:792)
    at org.apache.hadoop.net.NetUtils.wrapException(NetUtils.java:721)
    at org.apache.hadoop.ipc.Server.bind(Server.java:425)
    at org.apache.hadoop.ipc.Server.bind(Server.java:397)
    at org.apache.hadoop.hdfs.net.TcpPeerServer.<init>(TcpPeerServer.java:113)
    at org.apache.hadoop.hdfs.server.datanode.DataNode.initDataXceiver(DataNode.java:897)
    at org.apache.hadoop.hdfs.server.datanode.DataNode.startDataNode(DataNode.java:1111)
    at org.apache.hadoop.hdfs.server.datanode.DataNode.<init>(DataNode.java:429)
    at org.apache.hadoop.hdfs.server.datanode.DataNode.makeInstance(DataNode.java:2374)
    at org.apache.hadoop.hdfs.server.datanode.DataNode.instantiateDataNode(DataNode.java:2261)
    at org.apache.hadoop.hdfs.server.datanode.DataNode.createDataNode(DataNode.java:2308)
    at org.apache.hadoop.hdfs.server.datanode.DataNode.secureMain(DataNode.java:2485)
    at org.apache.hadoop.hdfs.server.datanode.DataNode.main(DataNode.java:2509)
Caused by: java.net.BindException: Address already in use
    at sun.nio.ch.Net.bind0(Native Method)
    at sun.nio.ch.Net.bind(Net.java:433)
    at sun.nio.ch.Net.bind(Net.java:425)
    at sun.nio.ch.ServerSocketChannelImpl.bind(ServerSocketChannelImpl.java:223)
    at sun.nio.ch.ServerSocketAdaptor.bind(ServerSocketAdaptor.java:74)
    at org.apache.hadoop.ipc.Server.bind(Server.java:408)
    ... 10 more
  2017-03-27 16:14:51,184 INFO org.apache.hadoop.util.ExitUtil: Exiting with status 1
  2017-03-27 16:14:51,186 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: SHUTDOWN_MSG:
 /************************************************************
STARTUP\u MSG:build=https://git-wip-us.apache.org/repos/asf/hadoop.git -r baa91f7c6bc9cb92be5982de4719c1c8af91ccff;由“root”于2016-08-18T01:41Z编制
启动消息:java=1.8.0\u 121
************************************************************/
2017-03-27 16:14:50262 INFO org.apache.hadoop.hdfs.server.datanode.datanode:[TERM,HUP,INT]的已注册UNIX信号处理程序
2017-03-27 16:14:51049 INFO org.apache.hadoop.metrics2.impl.MetricsConfig:从hadoop-metrics2.properties加载的属性
2017-03-27 16:14:51131 INFO org.apache.hadoop.metrics2.impl.MetricsConfig:从hadoop-metrics2.properties加载的属性
2017-03-27 16:14:51133 INFO org.apache.hadoop.metrics2.impl.metricsystemimpl:计划的快照时间为10秒。
2017-03-27 16:14:51134 INFO org.apache.hadoop.metrics2.impl.MetricSystemImpl:DataNode metrics系统已启动
2017-03-27 16:14:51139 INFO org.apache.hadoop.hdfs.server.datanode.BlockScanner:使用targetBytesPerSec 1048576初始化块扫描程序
2017-03-27 16:14:51142 INFO org.apache.hadoop.hdfs.server.datanode.datanode:配置的主机名为master.hadoop.lan
2017-03-27 16:14:51151 INFO org.apache.hadoop.hdfs.server.datanode.datanode:使用maxLockedMemory=0启动datanode
2017-03-27 16:14:51179 INFO org.apache.hadoop.hdfs.server.datanode.datanode:关闭完成。
2017-03-27 16:14:51180致命org.apache.hadoop.hdfs.server.datanode.datanode:secureMain中的异常
java.net.BindException:绑定到[0.0.0.0:50010]java.net.BindException:地址已在使用中的问题;有关更多详细信息,请参阅:http://wiki.apache.org/hadoop/BindException
位于sun.reflect.NativeConstructorAccessorImpl.newInstance0(本机方法)
位于sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62)
在sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
位于java.lang.reflect.Constructor.newInstance(Constructor.java:423)
位于org.apache.hadoop.net.NetUtils.wrapWithMessage(NetUtils.java:792)
位于org.apache.hadoop.net.NetUtils.wrapException(NetUtils.java:721)
位于org.apache.hadoop.ipc.Server.bind(Server.java:425)
位于org.apache.hadoop.ipc.Server.bind(Server.java:397)
位于org.apache.hadoop.hdfs.net.TcpPeerServer(TcpPeerServer.java:113)
位于org.apache.hadoop.hdfs.server.datanode.datanode.initDataXceiver(datanode.java:897)
位于org.apache.hadoop.hdfs.server.datanode.datanode.startDataNode(datanode.java:1111)
位于org.apache.hadoop.hdfs.server.datanode.datanode.(datanode.java:429)
位于org.apache.hadoop.hdfs.server.datanode.datanode.makeInstance(datanode.java:2374)
位于org.apache.hadoop.hdfs.server.datanode.datanode.InstanceDataNode(datanode.java:2261)
位于org.apache.hadoop.hdfs.server.datanode.datanode.createDataNode(datanode.java:2308)
位于org.apache.hadoop.hdfs.server.datanode.datanode.secureMain(datanode.java:2485)
位于org.apache.hadoop.hdfs.server.datanode.datanode.main(datanode.java:2509)
原因:java.net.BindException:地址已在使用中
位于sun.nio.ch.Net.bind0(本机方法)
位于sun.nio.ch.Net.bind(Net.java:433)
位于sun.nio.ch.Net.bind(Net.java:425)
位于sun.nio.ch.ServerSocketChannelImpl.bind(ServerSocketChannelImpl.java:223)
位于sun.nio.ch.ServerSocketAdaptor.bind(ServerSocketAdaptor.java:74)
位于org.apache.hadoop.ipc.Server.bind(Server.java:408)
... 10多
2017-03-27 16:14:51184 INFO org.apache.hadoop.util.ExitUtil:以状态1退出
2017-03-27 16:14:51186 INFO org.apache.hadoop.hdfs.server.datanode.datanode:SHUTDOWN\u MSG:
/************************************************************

从错误日志看,进程似乎已经在使用端口
50010

java.net.BindException:绑定到[0.0.0.0:50010]时出现问题 java.net.BindException:地址已在使用中

在大多数情况下,
datanode
进程本身没有正确终止

使用端口获取进程的
pid

netstat -ntpl | grep 50010

tcp 0 0 0.0.0.0:50010 0.0.0.0:* LISTEN <pid>/java
ps -ef | grep <pid>
现在端口已空闲,请尝试重新启动群集

如果无法终止进程,请通过将此属性添加到
hdfs site.xml

<property>
   <name>dfs.datanode.address</name>
   <value>hostname:different_port</value>
</property>

dfs.datanode.address
主机名:不同的\u端口

请参阅此
错误的所有可能原因

谢谢@franklinsijo为您提供的时间,它可以工作!
<property>
   <name>dfs.datanode.address</name>
   <value>hostname:different_port</value>
</property>