Scala 更改RDD的持久性级别_Scala_Apache Spark

Scala 更改RDD的持久性级别

scala apache-spark

Scala 更改RDD的持久性级别,scala,apache-spark,Scala,Apache Spark,所以我有一个问题。假设我有一个持久化的内存和磁盘的RDD，我知道我现在已经清理了足够的内存空间，可以强制磁盘上的数据进入内存。是否可以告诉spark重新评估打开的RDD内存并移动该信息基本上，我的RDD遇到了一个问题，我将它持久化，整个RDD直到我多次查询RDD后才会在内存中结束。这使得最初的几次跑步非常缓慢。我希望尝试的一件事是，首先将RDD设置为MEMORY\u和\u DISK，然后强制将磁盘数据返回内存。顺便说一句，我建议您先阅读这篇文章，谢谢@AlbertoBonsanto。我还添加了

所以我有一个问题。假设我有一个持久化的

内存和磁盘的RDD
，我知道我现在已经清理了足够的内存空间，可以强制磁盘上的数据进入内存。是否可以告诉spark重新评估打开的RDD
内存并移动该信息
基本上，我的RDD
遇到了一个问题，我将它持久化，整个RDD
直到我多次查询RDD
后才会在内存中结束。这使得最初的几次跑步非常缓慢。我希望尝试的一件事是，首先将RDD
设置为MEMORY\u和\u DISK
，然后强制将磁盘数据返回内存。
顺便说一句，我建议您先阅读这篇文章，谢谢@AlbertoBonsanto。我还添加了一些关于我遇到的问题的更具体的信息，以便更好地了解我为什么要问这个问题。如果您有足够的可用内存，那么内存和磁盘
首先不应该在磁盘上放置任何分区。