Hadoop Datanode运行正常,但在live data nodes中未提及

Hadoop Datanode运行正常,但在live data nodes中未提及,hadoop,ssh,Hadoop,Ssh,我已经在ubuntu15.10上部署了hadoop-3.0.0-alpha2集群。详情如下: 有1个namenode(主节点)和2个datanode(slave1和slave2)正在运行 我可以通过“ssh slave1”从主服务器登录到从服务器,通过“ssh master”从服务器登录到主服务器 守护进程工作正常,我可以通过jps看到它们。但是datanodes没有显示在namenode webUI的livenodes中 我已经检查了xml文件的所有配置,它们都是正确的。仍然活跃的节点为0。我

我已经在
ubuntu15.10
上部署了
hadoop-3.0.0-alpha2
集群。详情如下:

  • 有1个
    namenode
    (主节点)和2个
    datanode
    (slave1和slave2)正在运行

  • 我可以通过“
    ssh slave1
    ”从主服务器登录到从服务器,通过“
    ssh master
    ”从服务器登录到主服务器

  • 守护进程工作正常,我可以通过jps看到它们。但是datanodes没有显示在namenode webUI的livenodes中

    我已经检查了xml文件的所有配置,它们都是正确的。仍然活跃的节点为0。我的namenode和datanodes日志显示如下内容

    名称节点日志:

    数据节点日志:

    Core-site.xml:

        fs.defaultFS
        hdfs://master:9000
    
    hdfs-site.xml:

        mapreduce.jobhistory.webapp.address
        master:19888
    
        mapreduce.job.tracker
        master:54311
    
        mapreduce.framework.name
        yarn
    
        yarn.nodemanager.aux-services
        mapreduce_shuffle
    
        yarn.nodemanager.aux-services.mapreduce.shuffle.class
        org.apache.hadoop.mapred.ShuffleHandler
    
        yarn.log-aggregation-enable
        true
    
        yarn.resourcemanager.resource-tracker.address
        master:8025
    
        yarn.resourcemanager.scheduler.address
        master:8035
    
        yarn.resourcemanager.address
        master:8050
    
    在数据节点:

        dfs.replication
        1
    
        dfs.datanode.data.dir
        file:/usr/local/hadoop_tmp/hdfs/datanode
    
    在名称节点:

        dfs.namenode.name.dir
        file:/usr/local/hadoop_tmp/hdfs/namenode
    
    mapred-site.xml:

        mapreduce.jobhistory.webapp.address
        master:19888
    
        mapreduce.job.tracker
        master:54311
    
        mapreduce.framework.name
        yarn
    
        yarn.nodemanager.aux-services
        mapreduce_shuffle
    
        yarn.nodemanager.aux-services.mapreduce.shuffle.class
        org.apache.hadoop.mapred.ShuffleHandler
    
        yarn.log-aggregation-enable
        true
    
        yarn.resourcemanager.resource-tracker.address
        master:8025
    
        yarn.resourcemanager.scheduler.address
        master:8035
    
        yarn.resourcemanager.address
        master:8050
    
    warn-site.xml:

        mapreduce.jobhistory.webapp.address
        master:19888
    
        mapreduce.job.tracker
        master:54311
    
        mapreduce.framework.name
        yarn
    
        yarn.nodemanager.aux-services
        mapreduce_shuffle
    
        yarn.nodemanager.aux-services.mapreduce.shuffle.class
        org.apache.hadoop.mapred.ShuffleHandler
    
        yarn.log-aggregation-enable
        true
    
        yarn.resourcemanager.resource-tracker.address
        master:8025
    
        yarn.resourcemanager.scheduler.address
        master:8035
    
        yarn.resourcemanager.address
        master:8050
    

    提前感谢。

    datanode日志明确指出datanode无法与namenode通信。您还必须发布配置文件。我已经编辑了我的问题并发布了配置文件规范。我已尽力发布文件,因为我无法发布更多图像。请不要发布图像。从终端进行复制和粘贴顺便说一句,ApacheAmbari使安装Hadoop集群变得更加容易。(但不确定是否支持hadoop 3)@aj将核心站点中的端口更改为9090。让我知道