Hadoop 递归列出HDFS文件夹中按文件大小排序的文件

Hadoop 递归列出HDFS文件夹中按文件大小排序的文件,hadoop,hdfs,Hadoop,Hdfs,如果我需要递归地列出HDFS文件夹中按文件大小排序的文件,有什么脚本可以参考吗 提前感谢,, Lin尽管@kostya给出了一个很好的答案,但使用一点awk可以帮助重新安排输出以改进下游流程 hdfs dfs -ls -R ${hdfspath} 2> ${hdfsname}.err \ |awk "{ printf \"%s:%s:%s:%s:%s\n\",\$5,\$6,\$3,\$1,\$8; }" \ |sort -rn > hdfs-${hdfsname}.du hdfs

如果我需要递归地列出HDFS文件夹中按文件大小排序的文件,有什么脚本可以参考吗

提前感谢,,
Lin

尽管@kostya给出了一个很好的答案,但使用一点awk可以帮助重新安排输出以改进下游流程

hdfs dfs -ls -R ${hdfspath} 2> ${hdfsname}.err \
|awk "{ printf \"%s:%s:%s:%s:%s\n\",\$5,\$6,\$3,\$1,\$8; }" \
|sort -rn > hdfs-${hdfsname}.du
hdfs dfs -ls -R ${hdfspath} 2> ${hdfsname}.err \
|awk "{ printf \"%s:%s:%s:%s:%s\n\",\$5,\$6,\$3,\$1,\$8; }" \
|sort -rn > hdfs-${hdfsname}.du