Pyspark：将数据帧中的空白列写入为；无”；使用Spark SFTP包时（数据帧到CSV）

以上代码按此格式每行在csv文件中写入数据。（A）“B”和“C”）。但是，我希望将数据帧写成（A | | B | | C），其中空引号替换为“None”值

找到了一种不使用Spark SFTP包的方法，但无法了解如何使用Spark SFTP包并为空白列写入“无”

---

参考文档：

您可以使用DataFrame

na

函数将任何空值或Nan值替换为所需值

    test_df.limit(10).repartition(1).write.format("com.springml.spark.sftp").\
        option("host", sftp_host).\
        option("username", sftp_user).\
        option("password", sftp_pass).\
        option("fileType", "csv"). \
        option("delimiter", "|"). \
        option("codec", "gzip"). \
        option("header", "false"). \
    save(f"/test/{file_date}_{file_name}.txt.gz") 

---

您可以使用DataFrame

na

函数将任何空值或Nan值替换为所需值

    test_df.limit(10).repartition(1).write.format("com.springml.spark.sftp").\
        option("host", sftp_host).\
        option("username", sftp_user).\
        option("password", sftp_pass).\
        option("fileType", "csv"). \
        option("delimiter", "|"). \
        option("codec", "gzip"). \
        option("header", "false"). \
    save(f"/test/{file_date}_{file_name}.txt.gz")