Apache spark Spark-DF缓存表方法。它会将数据保存到磁盘吗？

我正在做一个spark项目，我们将从数据库中读取1亿条记录

我们正在从JDBC读取数据并创建DF。我想缓存DF，因为它将用于多次迭代和计算

我的问题是，如果使用DF cachetable（），数据将只保存在内存中。由于数据库读取是昂贵的，我不想再次读取失败的情况下

---

在RDD持久化功能中，我们可以选择将RDD保存到磁盘？我们可以在Dataframe cachetable中这样做吗？我也不想失去对cachetable的优化

它将使用

内存和磁盘

：

def cache（）：Dataset.this.type

使用默认存储级别（内存和磁盘）持久化此数据集

---

它将使用

内存和磁盘
：

def cache（）：Dataset.this.type

使用默认存储级别（内存和磁盘）持久化此数据集

我正在考虑使用cachetable，它有一些优化。但这是指定保存在内存中的。def cacheTable（tableName:String）：单元在内存中缓存指定的表。从1.3.0开始，我就考虑使用cachetable，它有一些优化。但这是指定保存在内存中的。def cacheTable（tableName:String）：单元在内存中缓存指定的表。从1.3.0开始