Hadoop Datanode运行正常,但在live data nodes中未提及
我已经在Hadoop Datanode运行正常,但在live data nodes中未提及,hadoop,ssh,Hadoop,Ssh,我已经在ubuntu15.10上部署了hadoop-3.0.0-alpha2集群。详情如下: 有1个namenode(主节点)和2个datanode(slave1和slave2)正在运行 我可以通过“ssh slave1”从主服务器登录到从服务器,通过“ssh master”从服务器登录到主服务器 守护进程工作正常,我可以通过jps看到它们。但是datanodes没有显示在namenode webUI的livenodes中 我已经检查了xml文件的所有配置,它们都是正确的。仍然活跃的节点为0。我
ubuntu15.10
上部署了hadoop-3.0.0-alpha2
集群。详情如下:
namenode
(主节点)和2个datanode
(slave1和slave2)正在运行ssh slave1
”从主服务器登录到从服务器,通过“ssh master
”从服务器登录到主服务器 fs.defaultFS
hdfs://master:9000
hdfs-site.xml:
mapreduce.jobhistory.webapp.address
master:19888
mapreduce.job.tracker
master:54311
mapreduce.framework.name
yarn
yarn.nodemanager.aux-services
mapreduce_shuffle
yarn.nodemanager.aux-services.mapreduce.shuffle.class
org.apache.hadoop.mapred.ShuffleHandler
yarn.log-aggregation-enable
true
yarn.resourcemanager.resource-tracker.address
master:8025
yarn.resourcemanager.scheduler.address
master:8035
yarn.resourcemanager.address
master:8050
在数据节点:
dfs.replication
1
dfs.datanode.data.dir
file:/usr/local/hadoop_tmp/hdfs/datanode
在名称节点:
dfs.namenode.name.dir
file:/usr/local/hadoop_tmp/hdfs/namenode
mapred-site.xml:
mapreduce.jobhistory.webapp.address
master:19888
mapreduce.job.tracker
master:54311
mapreduce.framework.name
yarn
yarn.nodemanager.aux-services
mapreduce_shuffle
yarn.nodemanager.aux-services.mapreduce.shuffle.class
org.apache.hadoop.mapred.ShuffleHandler
yarn.log-aggregation-enable
true
yarn.resourcemanager.resource-tracker.address
master:8025
yarn.resourcemanager.scheduler.address
master:8035
yarn.resourcemanager.address
master:8050
warn-site.xml:
mapreduce.jobhistory.webapp.address
master:19888
mapreduce.job.tracker
master:54311
mapreduce.framework.name
yarn
yarn.nodemanager.aux-services
mapreduce_shuffle
yarn.nodemanager.aux-services.mapreduce.shuffle.class
org.apache.hadoop.mapred.ShuffleHandler
yarn.log-aggregation-enable
true
yarn.resourcemanager.resource-tracker.address
master:8025
yarn.resourcemanager.scheduler.address
master:8035
yarn.resourcemanager.address
master:8050
提前感谢。datanode日志明确指出datanode无法与namenode通信。您还必须发布配置文件。我已经编辑了我的问题并发布了配置文件规范。我已尽力发布文件,因为我无法发布更多图像。请不要发布图像。从终端进行复制和粘贴顺便说一句,ApacheAmbari使安装Hadoop集群变得更加容易。(但不确定是否支持hadoop 3)@aj将核心站点中的端口更改为9090。让我知道