Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/hadoop/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Hadoop 如何检查hdfs目录中的总文件大小_Hadoop - Fatal编程技术网

Hadoop 如何检查hdfs目录中的总文件大小

Hadoop 如何检查hdfs目录中的总文件大小,hadoop,Hadoop,有没有办法计算HDFS文件目录的总文件大小(GB或MB)?我不想使用du命令。没有这一点,就没有办法 目录-/test/my_dir您可以使用df或report,'hadoop fs-count-q-h它将显示总大小 [root@hadoop0 ~]# hadoop fs -df -h / Filesystem Size Used Available Use% hdfs://hadoop0:8020 119.9 G 27.8 G 62.3 G

有没有办法计算HDFS文件目录的总文件大小(GB或MB)?我不想使用du命令。没有这一点,就没有办法


目录-/test/my_dir

您可以使用
df
report
'hadoop fs-count-q-h
它将显示总大小

[root@hadoop0 ~]# hadoop fs -df -h /
Filesystem              Size    Used  Available  Use%
hdfs://hadoop0:8020  119.9 G  27.8 G     62.3 G   23%


[root@hadoop0 ~]# hadoop dfsadmin -report 
DEPRECATED: Use of this script to execute hdfs command is deprecated.
Instead use the hdfs command for it.

Configured Capacity: 128770375680 (119.93 GB)
Present Capacity: 96752292952 (90.11 GB)
DFS Remaining: 66886767274 (62.29 GB)
DFS Used: 29865525678 (27.81 GB)
DFS Used%: 30.87%
Under replicated blocks: 0
Blocks with corrupt replicas: 0
Missing blocks: 0
Missing blocks (with replication factor 1): 0

我不应该使用df/du命令。显然,正如我前面所说,有一种方法可以从ls commandHi中实现。我不想使用df/du或任何对我禁用的管理相关命令。因此,使用hadoop fs-ls和awk@user2672739hadoop中的“hadoop fs-count-q-h”如何如果在文件目录太大时使用“ls-h”显示其大小,则目录的大小将为0。这是一个大问题