Apache spark 默认情况下，spark中的缓存内存限制是多少？_Apache Spark_Pyspark_Spark Streaming

Apache spark 默认情况下，spark中的缓存内存限制是多少？

apache-spark pyspark

Apache spark 默认情况下，spark中的缓存内存限制是多少？,apache-spark,pyspark,spark-streaming,Apache Spark,Pyspark,Spark Streaming,spark中缓存的最大限制是多少。它一次能保存多少数据？它实际上完全取决于执行器内存。Spark将占用内存中RDD的大部分，其余部分将在每次需要时动态获取并重新计算。它是完全可配置的，您可以检查它请参见。默认情况下，它是0.6x（JVM堆空间-300MB）。我可能错了，但据我所知，这里是计算什么是执行器内存。假设它是1GB 那么堆大小是其中的0.6，即600MB 那么堆大小的50%是缓存。i、，e 300 MB 在这种情况下，他们必须假设执行器内存为500 MB。事实上，对于本地执行器内存，

spark中缓存的最大限制是多少。它一次能保存多少数据？

它实际上完全取决于执行器内存。Spark将占用内存中RDD的大部分，其余部分将在每次需要时动态获取并重新计算。它是完全可配置的，您可以检查它

请参见。默认情况下，它是

0.6x（JVM堆空间-300MB）

。

我可能错了，但据我所知，这里是计算

什么是执行器内存。假设它是1GB

那么堆大小是其中的0.6，即600MB

那么堆大小的50%是缓存。i、，e 300 MB

在这种情况下，他们必须假设执行器内存为500 MB。事实上，对于本地执行器内存，默认大小是500 MB。如果it executer内存为500 MB，则仅为缓存分配150 MB