Fatal编程技术网
  • apache-flink/
  • Apache flink 大状态算子的Flink任务调度

Apache flink 大状态算子的Flink任务调度

apache-flink

Apache flink 大状态算子的Flink任务调度,apache-flink,Apache Flink,让我们假设一个设置，其中我们有一个或多个操作符连接到一个键控流，并且我们期望每个键有许多键和重要的分区状态（就大小而言） 是否有可能影响Flink将调度每个操作员实例的任务经理？在有n个任务管理器和m个操作员实例的设置中，最坏的情况是，这些m个实例中的多个（如果不是全部的话）最终只占用了n个任务管理器中的几个，因此耗尽了可用的资源。目前，Flink对每个任务和插槽都一视同仁。这意味着每个任务都应该可以部署到每个插槽。这不仅大大简化了调度逻辑，而且还通过指定不可满足的调度约束防止了用户自食其果。成

让我们假设一个设置，其中我们有一个或多个操作符连接到一个键控流，并且我们期望每个键有许多键和重要的分区状态（就大小而言）

是否有可能影响Flink将调度每个操作员实例的任务经理？在有n个任务管理器和m个操作员实例的设置中，最坏的情况是，这些m个实例中的多个（如果不是全部的话）最终只占用了n个任务管理器中的几个，因此耗尽了可用的资源。

目前，Flink对每个
任务和
插槽都一视同仁。这意味着每个
任务
都应该可以部署到每个
插槽
。这不仅大大简化了调度逻辑，而且还通过指定不可满足的调度约束防止了用户自食其果。成本是用户无法控制如何跨一组可用插槽和
任务管理器部署
任务


社区目前正在通过制作Flink的。通过这一改变，我们打算对Flink如何部署
任务进行更多的控制目前，Flink对每个
任务和
插槽都一视同仁。这意味着每个
任务
都应该可以部署到每个
插槽
。这不仅大大简化了调度逻辑，而且还通过指定不可满足的调度约束防止了用户自食其果。成本是用户无法控制如何跨一组可用插槽和
任务管理器部署
任务


社区目前正在通过制作Flink的。通过此更改，我们打算对Flink部署
任务的方式实现更多控制
感谢您的快速回复和相应问题的链接。感谢您的快速回复和相应问题的链接。