Performance Spark-1.6.0+；：spark.shuffle.memoryFraction已弃用-何时泄漏？
基于最新版本的Performance Spark-1.6.0+；：spark.shuffle.memoryFraction已弃用-何时泄漏？,performance,apache-spark,shuffle,Performance,Apache Spark,Shuffle,基于最新版本的Spark，系统发生了很大变化 问题： SparkUI已停止显示泄漏是否发生（&泄漏量）。在我的一个实验中，我试图模拟这样一种情况：执行器上的无序写入将超过“JVM堆大小”*spark.shuffle.memoryFraction*spark.shuffle.safetyFraction（基于），但没有看到任何相关的磁盘溢出日志。有没有办法得到这些信息 PS：如果这听起来像理论问题，请原谅 ，内存管理系统已更新。简而言之，不再有专用的高速缓存/洗牌内存。所有内存均可用于任何操作。从
SparkSparkUI泄漏是否发生（&泄漏量）。在我的一个实验中，我试图模拟这样一种情况：执行器上的无序写入将超过“JVM堆大小”*spark.shuffle.memoryFraction*spark.shuffle.safetyFraction
（基于），但没有看到任何相关的磁盘溢出日志。有没有办法得到这些信息
PS：如果这听起来像理论问题，请原谅 ，内存管理系统已更新。简而言之，不再有专用的高速缓存/洗牌内存。所有内存均可用于任何操作。从发行说明中
自动内存管理：Spark 1.6的另一个性能提升来自更好的内存管理。在Spark 1.6之前，Spark将可用内存静态划分为两个区域：执行内存和缓存内存。执行内存是用于排序、哈希和洗牌的区域，而缓存内存用于缓存热数据。Spark 1.6引入了一种新的内存管理器，可自动调整不同内存区域的大小。运行时会根据执行应用程序的需要自动增长和收缩区域。对于许多应用程序来说，这意味着可用于连接和聚合等操作符的可用内存将显著增加，而无需任何用户调优
给出了更改的背景推理，并深入讨论了新的内存管理系统