Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/5.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark 如果不需要缓存，apache spark会重用堆内存吗？_Apache Spark_Apache Spark 2.0 - Fatal编程技术网
Fatal编程技术网
  • apache-spark/
  • Apache spark 如果不需要缓存，apache spark会重用堆内存吗？

Apache spark 如果不需要缓存，apache spark会重用堆内存吗？

apache-spark

Apache spark 如果不需要缓存，apache spark会重用堆内存吗？,apache-spark,apache-spark-2.0,Apache Spark,Apache Spark 2.0,如果spark 2.x应用程序中不需要缓存，建议我将spark.storage.fraction设置为零。spark难道不知道在不进行缓存的情况下重新使用该空间吗？我真的应该告诉它缓存专用空间应该重新用于处理吗？因此答案是肯定的，spark 2.x正在存储和处理之间重新分配堆空间

如果spark 2.x应用程序中不需要缓存，建议我将
spark.storage.fraction
设置为零。spark难道不知道在不进行缓存的情况下重新使用该空间吗？我真的应该告诉它缓存专用空间应该重新用于处理吗？

因此答案是肯定的，spark 2.x正在存储和处理之间重新分配堆空间