Apache spark 将拼花地板写入NFS_Apache Spark_Pyspark_Parquet_Nfs

Apache spark 将拼花地板写入NFS

apache-spark pyspark

Apache spark 将拼花地板写入NFS,apache-spark,pyspark,parquet,nfs,Apache Spark,Pyspark,Parquet,Nfs,我正在尝试通过以下命令将拼花格式的数据帧写入NFS（网络文件系统）： df.write.mode('overwrite').parquet(OUTPUT_DIR) 它可以与HDFS配合使用，但与NFS配合使用时，只会创建_temporary，而不会写入实际的拼花文件。这项工作是成功的，没有任何错误。作业将相同的df写入HDFS和NFS，具有相同的OutputCommitter日志： FileOutputCommitter: Saved output of task 'attempt_XXXX

我正在尝试通过以下命令将拼花格式的数据帧写入NFS（网络文件系统）：

df.write.mode('overwrite').parquet(OUTPUT_DIR)

它可以与HDFS配合使用，但与NFS配合使用时，只会创建_temporary，而不会写入实际的拼花文件。这项工作是成功的，没有任何错误。作业将相同的df写入HDFS和NFS，具有相同的OutputCommitter日志：

FileOutputCommitter: Saved output of task 'attempt_XXXX_0002_m_000000_0' to path_to_DF/_temporary/0/task_XXXX_0002_m_000000
SparkHadoopMapRedUtil: attempt_XXXX_0002_m_000000_0: Committed
Executor: Finished task 0.0 in stage 2.0 (TID X). 2707 bytes result sent to driver

谢谢。

将RDD/DF保存到NFS时使用“文件：”选项