Warning: file_get_contents(/data/phpspider/zhask/data//catemap/9/three.js/2.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark Spark DAG可视化中的绿色阴影框是什么意思?_Apache Spark - Fatal编程技术网

Apache spark Spark DAG可视化中的绿色阴影框是什么意思?

Apache spark Spark DAG可视化中的绿色阴影框是什么意思?,apache-spark,Apache Spark,在Spark Web UI中,有两个DAG可视化,一个用于作业: 舞台上的另一个: 如前所述。这篇博文确实解释了工作DAG中的绿点,但是,它没有提到舞台DAG中的绿色阴影框。有人能给个提示吗 更新:如果这也意味着指定的代码是数据缓存的位置,我们可以做些什么来提高性能?您提供的 第二,在第一阶段缓存一个RDD(由绿色高亮显示表示) 因此,绿色框表示它们正在被缓存,未来对这些RDD的引用不必从头开始生成。可能重复@FuzzY,我下面的答案不是回答了您的问题吗?我的理解是缓存是关于数据而不是计算阶

在Spark Web UI中,有两个DAG可视化,一个用于作业:

舞台上的另一个:

如前所述。这篇博文确实解释了工作DAG中的绿点,但是,它没有提到舞台DAG中的绿色阴影框。有人能给个提示吗

更新:如果这也意味着指定的代码是数据缓存的位置,我们可以做些什么来提高性能?

您提供的

第二,在第一阶段缓存一个RDD(由绿色高亮显示表示)


因此,绿色框表示它们正在被缓存,未来对这些RDD的引用不必从头开始生成。

可能重复@FuzzY,我下面的答案不是回答了您的问题吗?我的理解是缓存是关于数据而不是计算阶段。如果第16阶段包含两个缓存查询,为什么它没有变灰?你更清楚@JacekLaskowski,所以我不打算和你争论,因为我知道spark在读你的书。但我想说的是,这段代码可能是为groupBy之后的缓存而设计的。谢谢你的好话。然而,我们能否集中精力讨论手头的话题?那么,您认为即使包含缓存的RDD,阶段也不会变灰的原因是什么?正如您所看到的,groupBy之前的阶段会变灰。为什么?你是说缓存RDD之前的阶段应该总是灰显吗?但这与截图不一致,是吗?