Apache spark Spark：如何从每个执行器将文件写入s3/hdfs

我有一个用例，我在每个执行器上运行一些建模代码，并希望在等待所有执行器完成任务之前立即将结果存储在s3/hdfs中。

如果将数据帧写入hdfs，则数据帧写入API的工作方式与您在此处打算使用的方式相同，执行器将独立地将数据写入文件，而不是将它们全部提交给驱动程序，然后执行写入操作

请参阅本节以进一步阅读本主题