Hadoop 为什么在dfs.data.dir指定的路径中看不到块文件?
刚才我在hdfs中写了一个90M文件,并执行下面的命令fsck。输出如下Hadoop 为什么在dfs.data.dir指定的路径中看不到块文件?,hadoop,hdfs,Hadoop,Hdfs,刚才我在hdfs中写了一个90M文件,并执行下面的命令fsck。输出如下 xuhang@master:~$ hadoop fsck /home/xuhang/hadoopinput/0501/baidu_hadoop.flv -files -blocks -locations /home/xhang/hadoopinput/0501/baidu_hadoop.flv 103737775字节,2个块 0. blk_-7625024667897507616_12224 len=67108864
xuhang@master:~$ hadoop fsck /home/xuhang/hadoopinput/0501/baidu_hadoop.flv -files -blocks -locations
/home/xhang/hadoopinput/0501/baidu_hadoop.flv 103737775字节,2个块
0. blk_-7625024667897507616_12224 len=67108864 repl=2 [node1:50010, node2:50010]
1. blk_2225876293125688018_12224 len=36628911 repl=2 [node1:50010, node2:50010]
。。。。。。。。。。。。。。。。。
.................
FSCK于2013年9月22日星期日11:55:51 CST结束,持续25毫秒
我在hdfs-site.xml中将相同的属性配置为两个DataNode,如下所示
<name>dfs.name.dir</name>
<value>/home/xuhang/hadoop-1.2.1/name1,/home/xuhang/hadoop-1.2.1/name2</value>
dfs.name.dir
/home/xhang/hadoop-1.2.1/name1,/home/xhang/hadoop-1.2.1/name2
但是我在两个数据节点的
/home/xuhang/hadoop-1.2.1/name1
和/home/xuhang/hadoop-1.2.1/name2
中找不到任何内容。为什么?我确信我已经成功地将90M文件写入hdfs,因为我可以从hadoop命令或java客户端读取它。我看到这些块位于主机node1和node2中。你一直在看节点1和节点2吗?
请同时检查node1和node2中的hdfs-site.xml。在这些节点中,
dfs.data.dir
可能被设置为不同的值。您应该可以在名为current的目录中找到blk_uuu.文件,该目录位于dfs.data.dir
所指向的目录中。我一直在查看node1和node2。配置是正确的。我想也许我必须调试源代码。