Hadoop datanode和namenode中的群集不兼容

Hadoop datanode和namenode中的群集不兼容,hadoop,installation,Hadoop,Installation,我在这个网站上查看了解决方案 我转到(hadoop文件夹)/data/dfs/datanode来更改ID 但是,datanode文件夹中没有任何内容 我能做什么 谢谢你的阅读 如果你能帮助我,我会很感激你的 PS 2017-04-11 20:24:05507警告org.apache.hadoop.hdfs.server.common.Storage:未能添加存储目录[磁盘]文件:/tmp/hadoop knu/dfs/data/ java.io.IOException:/tmp/hadoop k

我在这个网站上查看了解决方案

我转到(hadoop文件夹)/data/dfs/datanode来更改ID

但是,datanode文件夹中没有任何内容

我能做什么

谢谢你的阅读

如果你能帮助我,我会很感激你的

PS

2017-04-11 20:24:05507警告org.apache.hadoop.hdfs.server.common.Storage:未能添加存储目录[磁盘]文件:/tmp/hadoop knu/dfs/data/

java.io.IOException:/tmp/hadoop knu/dfs/data:namenode clusterID=CID-4491e2ea-b0dd-4e54-a37a-b18aaaf5383b中不兼容的clusterID;数据节点群集ID=CID-13a3b8e1-2f8e-4dd2-bcf9-c602420c1d3d

2017-04-11 20:24:05509致命org.apache.hadoop.hdfs.server.datanode.datanode:localhost的块池(datanode Uuid unassigned)服务初始化失败/127.0.0.1:9010。退出

java.io.IOException:无法加载所有指定的目录

2017-04-11 20:24:05509警告org.apache.hadoop.hdfs.server.datanode.datanode:终止块池服务,用于:本地主机的块池(datanode Uuid未分配)服务/127.0.0.1:9010

核心站点.xml

<configuration>
    <property>
            <name>fs.defaultFS</name>
            <value>hdfs://localhost:9010</value>
    </property>
</configuration>
<configuration>
   <property>
            <name>dfs.replication</name>
            <value>1</value>
   </property>
   <property>
            <name>dfs.namenode.name.dir</name>
            <value>/home/knu/hadoop/hadoop-2.7.3/data/dfs/namenode</value>
    </property>
    <property>
            <name>dfs.namenode.checkpoint.dir</name>
            <value>/home/knu/hadoop/hadoop-2.7.3/data/dfs/namesecondary</value>
    </property>
    <property>
            <name>dfs.dataode.data.dir</name>
            <value>/home/knu/hadoop/hadoop-2.7.3/data/dfs/datanode</value>
    </property>
    <property>
            <name>dfs.http.address</name>
            <value>localhost:50070</value>
    </property>
    <property>
           <name>dfs.secondary.http.address</name>
            <value>localhost:50090</value>
    </property>
</configuration>

请尝试格式化namenode,然后重新启动HDFS。

问题在于属性名
dfs.datanode.data.dir
,它错误地拼写为
dfs.dataode.data.dir
。这将使属性无法识别,因此,
${hadoop.tmp.dir}/hadoop-${USER}/dfs/data
的默认位置将用作数据目录

默认情况下,
hadoop.tmp.dir
/tmp
,每次重新启动时,此目录的内容都将被删除,并强制datanode在启动时重新创建文件夹。因此,不兼容的集群


在格式化namenode和启动服务之前,请在
hdfs site.xml
中编辑此属性名称。

在目录
/hadoop/bin$
下复制群集:

./hdfs namenode -format -clusterId CID-a5a9348a-3890-4dce-94dc-0fec2ba999a9
我的解决方案:

  • rm-rf./tmp/hadoop-${user}/dfs/data/*
  • /bin/hadoop namenode-格式
  • /sbin/hadoop-daemon.sh启动数据节点

我做了以下命令sbin/stop-all.sh bin/hdfs namenode-format sbin/start-all.sh但是,datanode仍然不工作。你可以发布你的
hdfs site.xml
core site.xml
我添加了hdfs-site.xml和core-site.xml吗?你还可以发布
ls-l/home/knu/hadoop/hadoop-2.7.3/data/dfs>的输出吗!!我添加了ls-l/home/knu/hadoop/hadoop-2.7.3/data/dfs/oh的结果。。。谢谢。我换了…对不起,我听不懂。你是说改变了吗?不那么。如何选择名称?从datanode日志复制群集ID,并在目录/hadoop/bin下执行以下命令。/hdfs namenode-format-clusterId CID-a5a9348a-3890-4dce-94dc-0fec2ba999a9
./hdfs namenode -format -clusterId CID-a5a9348a-3890-4dce-94dc-0fec2ba999a9