Java Spark-dataset.persist（）：如何检查数据集是否持久化？_Java_Apache Spark

Java Spark-dataset.persist（）：如何检查数据集是否持久化？

java apache-spark

Java Spark-dataset.persist（）：如何检查数据集是否持久化？,java,apache-spark,Java,Apache Spark,如何检查数据集是否已持久化 dataset.persist(); 1若要查看是否缓存，请尝试使用sparkSession.catalog.isCached（“viewName”）2若要判断磁盘中是否缓存了数据，请在Spark Web UI的存储选项卡中查看。您还可以检查数据集.queryExecution。具有的缓存数据集具有InMemoryRelation和InMemoryTableScan@Philantrover谢谢，但未完全涵盖。如果我使用StorageLevel.MEMORY和DIS

如何检查数据集是否已持久化

dataset.persist();

1若要查看是否缓存，请尝试使用sparkSession.catalog.isCached（“viewName”）
2若要判断磁盘中是否缓存了数据，请在Spark Web UI的存储选项卡中查看。

您还可以检查

数据集.queryExecution

。具有的缓存数据集具有

InMemoryRelation

和

InMemoryTableScan

@Philantrover谢谢，但未完全涵盖。如果我使用StorageLevel.MEMORY和DISK\u SER（）呢？