Parallel processing Flink:Jobmanager UI中设置的并行度与任务槽有什么关系?

Parallel processing Flink:Jobmanager UI中设置的并行度与任务槽有什么关系?,parallel-processing,bigdata,apache-flink,distributed-computing,Parallel Processing,Bigdata,Apache Flink,Distributed Computing,假设我有8个任务管理器和16个任务槽。如果我使用Jobmanager UI提交作业并将并行度设置为8,我是否只使用8个任务槽 如果我有8个具有8个插槽的任务管理器,并以8个并行度提交同一个作业,该怎么办?完全一样吗?或者,数据处理方式是否存在差异 谢谢。Flink集群中的任务插槽总数定义了最大并行度,但使用的插槽数可能超过实际并行度。例如,考虑这项工作: 如果在具有2个任务管理器的集群中以2个并行运行,每个任务管理器提供3个插槽,则计划程序将使用5个任务插槽,如下所示: 但是,如果基本并行度

假设我有8个任务管理器和16个任务槽。如果我使用Jobmanager UI提交作业并将并行度设置为8,我是否只使用8个任务槽

如果我有8个具有8个插槽的任务管理器,并以8个并行度提交同一个作业,该怎么办?完全一样吗?或者,数据处理方式是否存在差异


谢谢。

Flink集群中的任务插槽总数定义了最大并行度,但使用的插槽数可能超过实际并行度。例如,考虑这项工作:

如果在具有2个任务管理器的集群中以2个并行运行,每个任务管理器提供3个插槽,则计划程序将使用5个任务插槽,如下所示:

但是,如果基本并行度增加到6,则调度程序将执行此操作(请注意,在本例中,接收器的并行度保持为1):


有关更多信息,请参阅。

从两种情况下的CPU、内存和网络使用率等指标来看,使用的任务插槽数似乎与作业并行度设置的数量相同。这与可用的任务槽数无关。请弗林克的一位专家确认一下好吗?这确实很有趣,它解释了我在实验中观察到的差异。非常感谢您花时间发布这个清晰而详细的答案。在比较不同设置时,我将确保可用插槽的数量相同,因为这确实会影响处理结果。