Apache spark 火花和纱线中的调度器延迟时间

我正在Spark中进行一些检测，我意识到我的一些任务需要很长时间才能完成，因为可以从TaskMetrics中提取调度程序延迟时间。 我知道关于这个主题已经有一些问题了，但答案还没有被接受，它说等待打开插槽的任务被视为调度程序延迟，我认为这是不正确的（据我所知，如果任务没有进入执行器的插槽，它不会开始生成度量）

我有点困惑，这种延迟到底是从哪里开始的。我想知道这个延迟时间是否也考虑了应用程序被Thread客户端接受到提交应用程序的第一个作业之间的时间段。或者换句话说，在接受应用程序的这一刻之间：

这一个正在运行：

---

我直接通过启动一个应用程序进行检查，该应用程序群集中的可用资源很少。它一直在队列中等待，直到有足够的执行者可以为舞台启动。然后，客户启动了集群中的舞台。SCOPE中的度量不会将队列中的时间视为任何延迟。此外，如果您的任务比我上面发布的堆栈溢出答案中的内核多，这也没关系。当任务可用时，将在执行者中分配任务

简而言之，调度器延迟时间只考虑将任务发送给执行器。如果此处存在延迟，则纱线不是瓶颈，而是相关节点中的负载（通常是驱动程序和工作节点以及应用程序的执行者）

---

我直接通过启动一个应用程序进行检查，该应用程序群集中的可用资源很少。它一直在队列中等待，直到有足够的执行者可以为舞台启动。然后，客户启动了集群中的舞台。SCOPE中的度量不会将队列中的时间视为任何延迟。此外，如果您的任务比我上面发布的堆栈溢出答案中的内核多，这也没关系。当任务可用时，将在执行者中分配任务

简而言之，调度器延迟时间只考虑将任务发送给执行器。如果此处存在延迟，则纱线不是瓶颈，而是相关节点中的负载（通常是驱动程序和工作节点以及应用程序的执行者）