Ubuntu namenode、datanode不使用jps列出

环境：ubuntu 14.04、hadoop 2.6

在我键入

start all.sh

和

jps

之后，

DataNode

不会在终端上列出

>jps
9529 ResourceManager
9652 NodeManager
9060 NameNode
10108 Jps
9384 SecondaryNameNode

根据这一回答：

我尝试它的最佳解决方案

• bin/stop-all.sh（或2.x系列中的stop-dfs.sh和stop-warn.sh）

• rm-Rf/app/tmp/hadoop您的用户名/*

• bin/hadoop namenode-format（或2.x系列中的hdfs）

然而，现在我明白了：

>jps
20369 ResourceManager
26032 Jps
20204 SecondaryNameNode
20710 NodeManager

如您所见，即使是

NameNode

也丢失了，请帮助我

数据节点日志：

NmaeNode日志

：

mapred site.xml

：

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!--
  Licensed under the Apache License, Version 2.0 (the "License");
  you may not use this file except in compliance with the License.
  You may obtain a copy of the License at

    http://www.apache.org/licenses/LICENSE-2.0

  Unless required by applicable law or agreed to in writing, software
  distributed under the License is distributed on an "AS IS" BASIS,
  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  See the License for the specific language governing permissions and
  limitations under the License. See accompanying LICENSE file.
-->

<!-- Put site-specific property overrides in this file. -->

<configuration>
<property>
<name>mapreduce.framework.name</name>
 <value>yarn</value>
</property>

</configuration>

更新 致命org.apache.hadoop.hdfs.server.datanode.datanode:secureMain中的异常 java.io.IOException:dfs.datanode.data.dir中的所有目录都无效：“/usr/local/hadoop\u store/hdfs/datanode/”

此错误可能是由于对

/usr/local/hadoop\u store/hdfs/datanode/

文件夹的权限错误造成的

致命org.apache.hadoop.hdfs.server.namenode.namenode:无法启动namenode。 org.apache.hadoop.hdfs.server.common.unconsistentstateException:目录/usr/local/hadoop\u store/hdfs/namenode处于不一致状态：存储目录不存在或不可访问

此错误可能是由于对

/usr/local/hadoop\u store/hdfs/namenode

文件夹的权限错误，或者该文件夹不存在。要纠正此问题，请遵循以下选项：

选项一：

如果您没有文件夹

/usr/local/hadoop\u store/hdfs

，请按如下方式创建并授予文件夹权限：

sudo mkdir /usr/local/hadoop_store/hdfs
sudo chown -R hadoopuser:hadoopgroup /usr/local/hadoop_store/hdfs
sudo chmod -R 755 /usr/local/hadoop_store/hdfs

sudo addgroup hadoop
sudo adduser --ingroup hadoop hadoop

将

hadoopuser

和

hadoopgroup

分别更改为您的hadoop用户名和hadoopgroupname。现在，尝试启动hadoop进程。如果问题仍然存在，请尝试选项2

选项二：

删除

/usr/local/hadoop\u store/hdfs

文件夹的内容：

sudo rm -r /usr/local/hadoop_store/hdfs/*

更改文件夹权限：

sudo chmod -R 755 /usr/local/hadoop_store/hdfs

现在，启动hadoop进程。它应该会起作用

注意：如果错误仍然存在，请发布新日志。

更新：

如果您尚未创建hadoop用户和组，请按以下步骤执行：

sudo mkdir /usr/local/hadoop_store/hdfs
sudo chown -R hadoopuser:hadoopgroup /usr/local/hadoop_store/hdfs
sudo chmod -R 755 /usr/local/hadoop_store/hdfs

sudo addgroup hadoop
sudo adduser --ingroup hadoop hadoop

现在，更改

/usr/local/hadoop

和

/usr/local/hadoop\u商店的所有权

：

sudo chown -R hadoop:hadoop /usr/local/hadoop
sudo chown -R hadoop:hadoop /usr/local/hadoop_store

将用户更改为hadoop：

su - hadoop

输入hadoop用户密码。现在，您的终端应该如下所示：

hadoop@ubuntu：$

现在，输入：

$HADOOP\u HOME/bin/start all.sh

或

---

sh/usr/local/hadoop/bin/start all.sh

我遇到了类似的问题，

jps

没有显示数据节点

删除

hdfs

文件夹的内容并更改文件夹权限对我来说是可行的

sudo rm -r /usr/local/hadoop_store/hdfs/*
sudo chmod -R 755 /usr/local/hadoop_store/hdfs    
hadoop namenode =format
start-all.sh
jps

---

设置权限时要记住一件事：---- ssh keygen-t rsa-P“” 上述命令只能在namenode中输入。 然后将生成的公钥添加到所有数据节点 ssh copy id-i~/.ssh/id_rsa.pub 然后按命令 ssh 权限将设置为。。。。。。

---

此后，在启动dfs时不需要密码……

面临相同的问题：在Jps命令中未显示Namenode服务 解决方案：这是由于目录/usr/local/hadoop\u store/hdfs的权限问题造成的 只需更改权限和格式namenode并重新启动hadoop：

$sudo chmod-R 755/usr/local/hadoop_商店/hdfs

$hadoop namenode-格式

$start-all.sh

---

$jps

解决方案是首先使用 转到您的/usr/local/hadoop

bin/hdfs namenode-格式

然后从您的主页中删除hdfs和tmp目录

mkdir ~/tmp
mkdir ~/hdfs
chmod 750 ~/hdfs

转到hadoop目录并启动hadoop

`sbin/start-dfs.sh`

---

它将显示数据节点

，为此，您需要向hdfc文件夹授予权限。 然后运行以下命令：

通过命令创建组：

sudo-adgroup-hadoop

将您的用户添加到此中：

sudousermod-a-G hadoop“ur\u user”

（您可以通过Who命令查看当前用户）

现在直接通过：

sudo chown-R“ur_user”：“ur_gourp”/usr/local/hadoop_商店

然后通过以下方式再次格式化名称节点：

hdfs名称节点-格式

---

并启动所有您可以看到结果的服务…..现在键入JPS（它会起作用）。

请您更新namenode日志好吗？也发布您的datanode日志。实际上，您不应该多次格式化namenode，现在您的群集因此不稳定..很抱歉问了一个愚蠢的问题，如何查找namenode，数据节点日志？您可以在

$hadoop_HOME/logs

文件夹中找到hadoop日志。ls-l/usr/local结果是什么？终端结果中的

whoami

是什么？您在安装hadoop时是否执行了以下步骤：

sudo addgroup hadoopgroupname

和

sudo adduser--ingroup hadoopgroupname hadoopusername

？。您在安装时提供的

hadoopgroupname

和

hadoopusername

将分别是您的hadoopgroupname和用户名。

whoami

显示我的用户名：

coda

，安装hadoop时我没有键入

sudo adduser--ingroup hadoopgroupname hadoopusername

。这就是我失败的原因吗？更新答案。调查一下。