Apache spark 如何在spark ui中解释阶段的详细信息图

Apache spark 如何在spark ui中解释阶段的详细信息图,apache-spark,spark-ui,Apache Spark,Spark Ui,我在spark ui中看到此详细信息图: 关于这个图表,我有几个问题: 1-为什么与计算时间相比,调度延迟和任务反序列化需要如此长的时间?这是否意味着作业优化(我的spark脚本)有问题 2-据我所知,每行对应一个执行器(请参见左栏的1/10.42.3.34,2/10.42.4.160等)。每个执行器有3个核心,但有些行包含2个“彩色条”,而有些行包含3个条。为什么呢?每个彩色条是否用于特定的核心/任务?那为什么有2根线而有3根线芯呢?这是否意味着1个核心根本不起作用 3-一行中的彩色条从不从

我在spark ui中看到此详细信息图:

关于这个图表,我有几个问题:

1-为什么与计算时间相比,调度延迟和任务反序列化需要如此长的时间?这是否意味着作业优化(我的spark脚本)有问题

2-据我所知,每行对应一个执行器(请参见左栏的
1/10.42.3.34
2/10.42.4.160
等)。每个执行器有3个核心,但有些行包含2个“彩色条”,而有些行包含3个条。为什么呢?每个彩色条是否用于特定的核心/任务?那为什么有2根线而有3根线芯呢?这是否意味着1个核心根本不起作用

3-一行中的彩色条从不从同一位置开始。这是什么意思?这是否告诉我们,虽然并行运行,但任务不会同时启动

4-同样适用于钢筋的端部

5-为什么有些条有黄色的结尾(表示随机写入时间),而其他条没有

6-为什么有些条有紫色的结尾(表示结果序列化时间),而其他条没有

7-为什么有些条以黄色结尾,然后是紫色(洗牌写入和序列化)?那里发生了什么

8-在图表顶部,所有任务都显示2秒
。这是如何计算的?当我查看任务持续时间时,我没有看到一个任务需要超过几毫秒

我相信理解这张图是非常重要的,所以任何帮助都是非常感谢的。干杯