Apache spark 导出spark逻辑/物理计划？

可以导出数据帧/集的Spark逻辑或物理计划，将其序列化并将其保存在某个位置（文本、xml、json…）。然后重新导入它，并基于它创建一个数据帧

---

这里的想法是，我对Spark数据帧的元存储很感兴趣，我可以在其中保存数据帧逻辑或物理计划，以便其他人可以使用它们。

Spark 2.4.2

下面的代码可能与Spark的较低版本不同

检查下面的代码

spark.read.json(Seq(df.queryExecution.logical.toJSON).toDS).write.format("json").save("logical")
spark.read.json(Seq(df.queryExecution.sparkPlan.toJSON).toDS).write.format("json").save("sparkPlan")
spark.read.json(Seq(df.queryExecution.executedPlan.toJSON).toDS).write.format("json").save("executedPlan")
spark.read.json(Seq(df.queryExecution.analyzed.toJSON).toDS).write.format("json").save("analyzed")

---

这些答案有用吗，不，这还没有结束。我试着读了一些csv文件，然后像你建议的那样导出了计划。它们中没有一个包含我的源代码的路径，我想它们只指向JVM中的对象（我不确定）。你能告诉我你对这些的期望是什么吗？我期望有所有的信息，比如源文件等等。。我的想法是，我只想将Spak计划保存到一个文件中，然后将其重新导入并评估为实际的数据帧，以便以后被其他用户重用。换句话说，我正在尝试为数据帧计划（无需持久化数据）构建某种存储，可以在公司内共享。