Python 将巨大的pyspark数据框写入拼花地板中的EFS

我有总计25GB的巨大数据文件。我正在使用

spark.read.load（filenamesList，format='csv'，header=None）

将整个数据读取到pyspark数据框中，并使用

df.write.partitionBy（'mycolumn'）.parquet（到EFS位置的路径）

根据列'mycolumn'的值将整个数据框写入多个parquet。在这一步中，我遇到以下错误：

java.io.IOException:设备上没有剩余空间

因为我正在将文件写入EFS位置，所以不应该存在空间问题。有人能帮我理解这一点吗