当我使用hadoop fs-mkdir时,我的文件(dir)存储在哪里?

当我使用hadoop fs-mkdir时,我的文件(dir)存储在哪里?,hadoop,hdfs,Hadoop,Hdfs,我是hadoop的新手,刚完成安装,花了我两天时间。。。 我现在正在尝试使用hadoop dfs命令,但我就是不理解它,虽然我已经浏览了几天,但我找不到我想知道的答案。 所有的例子都显示了结果应该是什么,但没有解释它的真实结构,因此如果有人能帮助我理解hadoop hdfs,我会很高兴 我已经在HDFS上创建了一个目录 bin/hadoop fs -mkdir input 好的,我用ls命令检查一下 bin/hadoop fs -ls Found 1 items drwxr-xr-x -

我是hadoop的新手,刚完成安装,花了我两天时间。。。 我现在正在尝试使用hadoop dfs命令,但我就是不理解它,虽然我已经浏览了几天,但我找不到我想知道的答案。 所有的例子都显示了结果应该是什么,但没有解释它的真实结构,因此如果有人能帮助我理解hadoop hdfs,我会很高兴

我已经在HDFS上创建了一个目录

bin/hadoop fs -mkdir input
好的,我用ls命令检查一下

bin/hadoop fs -ls
Found 1 items
drwxr-xr-x   - hadoop supergroup          0 2012-07-30 11:08 input
好的,没问题,一切似乎都很完美。。但HDFS数据实际上存储在哪里? 我以为它会存储在我的datanode目录(/home/hadoop/datastore)中,该目录是在hadoop.tmp.dir下的core-site.xml中定义的,但它不在那里

然后我尝试通过WEB-UI查看,发现“input”是在“/user/hadoop/”(/user/hadoop/input)下创建的

我的问题是

  • (1) datanode目录(hadoop.tmp.dir)用于什么,因为它不存储我通过dfs命令处理的所有内容
  • (2) 使用dfs命令创建的所有内容都转到/user/XXX/,如何更改其值
  • (3) 当我试图通过普通的linux命令(ls/user/hadoop)访问时,我看不到任何东西。/user/hadoop逻辑上存在吗
如果我的问题很愚蠢,我很抱歉。。 一个努力更好地理解hadoop的新手


提前感谢。

Hdfs不是posix文件系统,您必须使用hadoop api来读取和查看此文件系统。这就是在使用HadoopAPI读取文件时必须执行HadoopFS-ls的原因。hdfs中的数据存储在块中,并存储在所有数据节点中。有关此文件系统的元数据存储在Namenode上。在目录“/home/hadoop/datastore”中看到的数据文件是存储在单个数据节点上的块

我认为你应该在它的教程中进一步了解它的文件系统