hadoop fs命令显示的是本地文件系统,而不是hdfs
为了形成一个hadoop集群,我在几台笔记本电脑上安装了hadoop。首先,我们以伪分布式模式安装,除了一个之外,其他一切都是完美的(即所有服务都运行,当我使用hadoop fs命令显示的是本地文件系统,而不是hdfs,hadoop,hdfs,Hadoop,Hdfs,为了形成一个hadoop集群,我在几台笔记本电脑上安装了hadoop。首先,我们以伪分布式模式安装,除了一个之外,其他一切都是完美的(即所有服务都运行,当我使用hadoop fs进行测试时,它会显示hdfs)。在后面提到的笔记本电脑(有问题的笔记本电脑)中,`hadoop fs-ls命令显示本地目录的信息,而不是hdfs,命令-cat,-mkdir,-put也会出现同样的情况。我可能做错了什么 任何帮助都将不胜感激 这是我的核心站点.xml <?xml version="1.0"?>
hadoop fs
进行测试时,它会显示hdfs
)。在后面提到的笔记本电脑(有问题的笔记本电脑)中,`hadoop fs-ls
命令显示本地目录的信息,而不是hdfs
,命令-cat
,-mkdir
,-put
也会出现同样的情况。我可能做错了什么
任何帮助都将不胜感激
这是我的核心站点.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hduser/hdfs_dir/tmp</value>
<description></description>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:54310</value>
<description>.</description>
</property>
</configuration>
hadoop.tmp.dir
/主页/hduser/hdfs\u目录/tmp
fs.default.name
hdfs://localhost:54310
.
我必须说,这是所有其他笔记本电脑的相同文件,它们工作正常。检查
core site.xml中的fs.default.name
是否指向正确的数据节点
例如:
fs.default.name
hdfs://target-namenode:54310
我也遇到了同样的问题,我必须确保fs.default.name
的值包含一个尾部/
以引用路径组件:
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:54310/</value>
<description>.</description>
</property>
fs.default.name
hdfs://localhost:54310/
.
如果fs.default.name
位于核心站点.xml
中,则指向hdfs://localhost:54310/
带尾随符或不带尾随符/
,即使您有相同的问题,也可能会看到错误的配置文件。在我的例子中,这是cloudera的cdh4,请检查符号链接:
ls-l/etc/hadoop/conf
**/etc/hadoop/conf->/etc/alternations/hadoop-conf
ls-l/etc/alternations/hadoop conf
**/etc/alternations/hadoop conf->/etc/hadoop/conf.cloudera.yarn1
早些时候,我使用了MRv1并迁移到MRv2(纱线),升级后sym链接断开:
ls-l/etc/hadoop/conf
**/etc/hadoop/conf->/etc/alternations/hadoop-conf
ls-l/etc/alternations/hadoop conf
**/etc/alternations/hadoop conf->/etc/hadoop/conf.cloudera.mapreduce1
ls-l/etc/hadoop/conf.cloudera.mapreduce1
ls:无法访问/etc/hadoop/conf.cloudera.mapreduce1:没有这样的文件或目录
另外,运行updatealternatives以使/etc/hadoop/conf.cloudera.mapreduce1路径具有高优先级,路径为:
备选方案--显示hadoop配置
hadoop配置-状态为手动。
当前链接指向/etc/hadoop/conf.cloudera.mapreduce1
/etc/hadoop/conf.cloudera.hdfs1-优先级90
/etc/hadoop/conf.cloudera.mapreduce1-优先级92
/etc/hadoop/conf.empty-优先级10
/etc/hadoop/conf.cloudera.yarn1-优先级91
当前的“最佳”版本是/etc/hadoop/conf.cloudera.mapreduce1。
要删除优先级最高的旧链接,请执行以下操作:
更新备选方案——删除hadoop conf/etc/hadoop/conf.cloudera.mapreduce1
rm-f/etc/alternations/hadoop conf
ln-s/etc/hadoop/conf.cloudera.yarn1/etc/alternations/hadoop-conf
能否共享core-site.xml文件。想知道您是否已将属性“fs.default.name”的默认值从默认值更改为默认值file:///Let 让我试试,我会回到你身边……:)
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:54310/</value>
<description>.</description>
</property>