如何查看hadoop数据目录结构?

如何查看hadoop数据目录结构?,hadoop,hive,hdfs,Hadoop,Hive,Hdfs,我在蜂房里把桌子隔开了。我想看看hadoop hdfs中的目录结构 从中,我找到了以下命令 hadoop fs -ls /app/hadoop/tmp/dfs/data/ /app/hadoop/tmp/dfs/data/是我的数据路径。但是这个命令返回了 ls:无法访问/app/hadoop/tmp/dfs/data/:没有此类文件或 目录 我遗漏了什么吗?检查您的core-site.xml文件和hdfs-site.xml文件中是否正确设置了tmp目录。 如果未设置,则操作系统的临时目录(u

我在蜂房里把桌子隔开了。我想看看hadoop hdfs中的目录结构

从中,我找到了以下命令

hadoop fs -ls /app/hadoop/tmp/dfs/data/
/app/hadoop/tmp/dfs/data/
是我的数据路径。但是这个命令返回了

ls:无法访问/app/hadoop/tmp/dfs/data/:没有此类文件或 目录


我遗漏了什么吗?

检查您的core-site.xml文件和hdfs-site.xml文件中是否正确设置了tmp目录。 如果未设置,则操作系统的临时目录(ubuntu中的tmp和windows中的%temp%)将设置为hadoop tmp文件夹,因此重新启动计算机后可能会丢失数据。在xml中设置dfs.tmp.dir并重新启动集群。那就行了。
即使在这之后,如果没有解决,也请提供有关分区表代码和表数据的更多详细信息。

除非我弄错了,否则您似乎在寻找一个临时目录,该目录可能是在属性
hadoop.tmp.dir
中定义的。这是一个本地目录,但是当您执行hadoop fs-ls时,您会看到HDFS中有哪些可用文件,所以您不会看到任何内容

由于您正在查找或配置单元目录,因此在您的Hive-site.xml中查找以下属性:

hive.metastore.warehouse.dir
默认值为
/user/hive/warehouse
,因此,如果尚未更改此属性,您应该能够执行以下操作:

hadoop fs -ls /user/hive/warehouse

这将显示您的表目录。

您确定此路径中有数据吗?你是怎么核实的?此错误可能表示您在那里没有任何内容或配置错误。我的hadoop临时目录路径是
/app/hadoop/tmp
,因此数据路径将作为
dfs/data/
附加到临时目录。而且
/app/hadoop/tmp/dfs/data/
有子目录,如
current
detach/
tmp/
,以及另外两个正在使用的文件
。lock
storage
。这些目录是在HDFS中还是在本地磁盘上?您是如何创建配置单元表的?我只是使用普通命令行创建配置单元表,我只是使用带分区的普通sql创建配置单元表。您是否尝试过使用
hadoop fs-ls/user/Hive/warehouse
查看您的表是否存在?谢谢您的回答<在
hive default.xml.template
文件中设置了code>hive.metastore.warehouse.dir。我可以在
/user/hive/warehouse
目录下看到我的表、表分区。