Apache flink 在ApacheFlink中,作业管理器和作业主控器之间有什么区别?

Apache flink 在ApacheFlink中,作业管理器和作业主控器之间有什么区别?,apache-flink,Apache Flink,在ApacheFlink(例如v1.8)中,作业管理器和作业主控器之间有什么区别 作业管理器和作业主控器似乎在日志中类似地使用 作业经理和作业主管之间有什么区别 谢谢 作业经理和作业主管的角色不同 对于JobManager,根据: 在作业执行期间,作业管理器跟踪分布式任务,决定何时安排下一个任务(或一组任务),并对完成的任务或执行失败作出反应 JobManager接收JobGraph,它是由运算符(JobVertex)和中间结果(IntermediateDataSet)组成的数据流表示。每个操作

在ApacheFlink(例如v1.8)中,作业管理器和作业主控器之间有什么区别

作业管理器和作业主控器似乎在日志中类似地使用

作业经理和作业主管之间有什么区别


谢谢

作业经理和作业主管的角色不同

对于JobManager,根据:

在作业执行期间,作业管理器跟踪分布式任务,决定何时安排下一个任务(或一组任务),并对完成的任务或执行失败作出反应

JobManager接收JobGraph,它是由运算符(JobVertex)和中间结果(IntermediateDataSet)组成的数据流表示。每个操作符都有属性,比如并行性和它执行的代码。此外,JobGraph还有一组附加的库,它们是执行运算符代码所必需的

根据以下情况,JobMaster的角色更为有限:

作业管理员实施。作业主机负责执行单个作业图


JobManager主要由3个组件组成

  • Dispatcher—将作业分派给任务管理器
  • 资源管理器-为作业分配所需的资源
  • JobMaster-监督、协调Flink工作任务
  • 因此,JobMaster是JobManager的一部分。根据docs,为每个单独的Flink应用程序分配一个JobManager,其中可以包含多个Flink作业

    例如,具有2个作业的Flink应用程序将实例化1个JobManger,但将包含2个JobMaster