Apache flink 了解纱线环境中的TaskManager和任务槽

Apache flink 了解纱线环境中的TaskManager和任务槽,apache-flink,Apache Flink,我是Flink的新手,还没有机会阅读Flink源代码来理解源代码的JobManager、TaskManager和TaskSlot 我认为TaskManager流程就像Spark的执行者流程,而JobManager就像Spark的驱动程序流程 但是当我看图表的时候 看来我的想法错了?是任务槽进程在纱线容器中运行?也就是说,任务槽类似于Spark的executor进程 我对JobManager、TaskManager和TaskSlot没有很好或很清楚的理解,它解释了分布式运行时是如何组织的。概括地说

我是Flink的新手,还没有机会阅读Flink源代码来理解源代码的JobManager、TaskManager和TaskSlot

我认为TaskManager流程就像Spark的执行者流程,而JobManager就像Spark的驱动程序流程

但是当我看图表的时候

看来我的想法错了?是任务槽进程在纱线容器中运行?也就是说,任务槽类似于Spark的executor进程

我对JobManager、TaskManager和TaskSlot没有很好或很清楚的理解,它解释了分布式运行时是如何组织的。概括地说,与Spark相比:

  • 任务经理:Spark Worker
  • 任务槽:Spark任务
  • 应用:火花驱动程序
至于弗林克的工作经理,直到最近(弗林克1.6版),这是一个扮演许多角色的巨石。现在它已经被重构,它仍然负责大多数独立于集群框架的集群范围的问题——这意味着协调检查点、恢复和调度

另请参见此问题的答案。

说明了分布式运行时的组织方式。概括地说,与Spark相比:

  • 任务经理:Spark Worker
  • 任务槽:Spark任务
  • 应用:火花驱动程序
至于弗林克的工作经理,直到最近(弗林克1.6版),这是一个扮演许多角色的巨石。现在它已经被重构,它仍然负责大多数独立于集群框架的集群范围的问题——这意味着协调检查点、恢复和调度


另请参阅此问题的答案。

谢谢@avid anderson的好答案。我想知道为什么Flink会引入这个概念——TaskSlot。我的理解是TaskSlot只是TM中实际运行任务逻辑的一个线程。请看一下感谢@avid anderson给出的好答案。我想知道为什么Flink会引入这个概念——TaskSlot。我的理解是TaskSlot只是TM中实际运行任务逻辑的线程