Apache spark 群集模式下无HDFS的Spark:哪些数据存储在哪里?

Apache spark 群集模式下无HDFS的Spark:哪些数据存储在哪里?,apache-spark,apache-spark-sql,Apache Spark,Apache Spark Sql,我在集群模式下使用Spark 1.5而不使用HDFS来构建应用程序。我想知道,当进行保存操作时,例如 df.write.parquet("...") 哪些数据存储在哪里?是所有数据都存储在主节点上,还是每个工作节点都存储其本地数据?一般来说,所有工作节点都将执行对其本地文件系统的写入,而驱动程序只写入一个\u成功文件

我在集群模式下使用Spark 1.5而不使用HDFS来构建应用程序。我想知道,当进行保存操作时,例如

df.write.parquet("...")

哪些数据存储在哪里?是所有数据都存储在主节点上,还是每个工作节点都存储其本地数据?

一般来说,所有工作节点都将执行对其本地文件系统的写入,而驱动程序只写入一个
\u成功
文件