Hadoop 如何检查hdfs目录中的总文件大小
有没有办法计算HDFS文件目录的总文件大小(GB或MB)?我不想使用du命令。没有这一点,就没有办法Hadoop 如何检查hdfs目录中的总文件大小,hadoop,Hadoop,有没有办法计算HDFS文件目录的总文件大小(GB或MB)?我不想使用du命令。没有这一点,就没有办法 目录-/test/my_dir您可以使用df或report,'hadoop fs-count-q-h它将显示总大小 [root@hadoop0 ~]# hadoop fs -df -h / Filesystem Size Used Available Use% hdfs://hadoop0:8020 119.9 G 27.8 G 62.3 G
目录-/test/my_dir您可以使用
df
或report
,'hadoop fs-count-q-h
它将显示总大小
[root@hadoop0 ~]# hadoop fs -df -h /
Filesystem Size Used Available Use%
hdfs://hadoop0:8020 119.9 G 27.8 G 62.3 G 23%
[root@hadoop0 ~]# hadoop dfsadmin -report
DEPRECATED: Use of this script to execute hdfs command is deprecated.
Instead use the hdfs command for it.
Configured Capacity: 128770375680 (119.93 GB)
Present Capacity: 96752292952 (90.11 GB)
DFS Remaining: 66886767274 (62.29 GB)
DFS Used: 29865525678 (27.81 GB)
DFS Used%: 30.87%
Under replicated blocks: 0
Blocks with corrupt replicas: 0
Missing blocks: 0
Missing blocks (with replication factor 1): 0
我不应该使用df/du命令。显然,正如我前面所说,有一种方法可以从ls commandHi中实现。我不想使用df/du或任何对我禁用的管理相关命令。因此,使用hadoop fs-ls和awk@user2672739hadoop中的“hadoop fs-count-q-h”如何如果在文件目录太大时使用“ls-h”显示其大小,则目录的大小将为0。这是一个大问题