Java 需要清除HDFS中的part-m-0000*文件

Java 需要清除HDFS中的part-m-0000*文件,java,hadoop,Java,Hadoop,在HDFS处理中,在每个作业之后,都会创建名为part-m-0000*的空文件。这些文件都是空的,但它们占用了64MB的磁盘空间,因为这是块的默认大小 有必要更改代码以跳过这些文件的创建。我该怎么做 注意:我使用的是org.apache.hadoop.mapreduce.lib.output.MultipleOutputs来编写输出记录,而不是上下文,因此我最终会将输出记录保存在“successful-m-00000”等文件中。根据,因此如果文件为空,则底层文件系统不会采用HDFS块大小 与单个

在HDFS处理中,在每个作业之后,都会创建名为part-m-0000*的空文件。这些文件都是空的,但它们占用了64MB的磁盘空间,因为这是块的默认大小

有必要更改代码以跳过这些文件的创建。我该怎么做

注意:我使用的是
org.apache.hadoop.mapreduce.lib.output.MultipleOutputs
来编写输出记录,而不是上下文,因此我最终会将输出记录保存在“successful-m-00000”等文件中。

根据,因此如果文件为空,则底层文件系统不会采用HDFS块大小

与单个磁盘的文件系统不同,HDFS中小于单个块的文件不会占用整个块的底层存储空间

如果输出文件为空,请使用。这里是同样的Apache