Shell 删除旧的HDFS文件太慢

Shell 删除旧的HDFS文件太慢,shell,hadoop,awk,hdfs,Shell,Hadoop,Awk,Hdfs,两天前我想删除文件上的hdfs,但是速度太慢了,有人能提供一些优化的想法吗 格式 drwxr-xr-x 3 nuomi-da-stat nuomi-da-stat 0 2016-11-15 11:58 /app/lbs/nuomi-da-stat/stat_platform_auto/943 shell脚本 hadoop fs -lsr /app/lbs/nuomi-da-stat/stat_platform_auto | awk ' BEGIN { IFS=

两天前我想删除文件上的hdfs,但是速度太慢了,有人能提供一些优化的想法吗

格式

drwxr-xr-x   3 nuomi-da-stat nuomi-da-stat          0 2016-11-15 11:58 /app/lbs/nuomi-da-stat/stat_platform_auto/943
shell脚本

hadoop fs -lsr /app/lbs/nuomi-da-stat/stat_platform_auto | awk '
  BEGIN {
    IFS="\t";
    n_days_ago=strftime("%F", systime()-2*24*3600)
  } {
    if (substr($1,1,1)=="-" && $6<n_days_ago) {print "hadoop fs -rmr", $8}
  }' | /bin/bash
hadoop fs-lsr/app/lbs/numi da stat/stat|u platform|u auto|awk'
开始{
IFS=“\t”;
n_days_ago=strftime(“%F”,systime()-2*24*3600)
} {

如果(substr($1,1,1)=“-”&&&$6尝试仅检测要开始删除的第一个文件,并从该文件到EOF打印“记录”(使用带AWK的范围模式),然后使用-n将输出发送到xargsoption@kcoder24感谢您的建议,我发现速度是由于hdfs文件大小太大,现在我的方法是创建三个linux后台进程来执行。