Scala Spark使用自定义文件名和gzip保存分区

Scala Spark使用自定义文件名和gzip保存分区,scala,apache-spark,Scala,Apache Spark,我希望使用自定义文件名保存生成的RDD分区,如:chunk0.gz、chunk1.gz,等等。因此,我希望它们也被gzip 使用savastextfile将创建一个目录,其中包含标准文件名part-00000.gz,等等 fqPart.saveAsTextFile(outputFolder, classOf[GzipCodec]) 如何指定自己的文件名?我是否必须手动迭代RDD分区并写入文件,然后压缩生成的文件 提前感谢。请参阅:尽管这个问题涉及到保存数据帧(而不是RDD),但同样的答案也适用

我希望使用自定义文件名保存生成的RDD分区,如:
chunk0.gz
chunk1.gz
,等等。因此,我希望它们也被gzip

使用
savastextfile
将创建一个目录,其中包含标准文件名
part-00000.gz
,等等

fqPart.saveAsTextFile(outputFolder, classOf[GzipCodec])
如何指定自己的文件名?我是否必须手动迭代RDD分区并写入文件,然后压缩生成的文件

提前感谢。

请参阅:尽管这个问题涉及到保存数据帧(而不是RDD),但同样的答案也适用。