Apache flink 理想的任务槽数

Apache flink 理想的任务槽数,apache-flink,flink-streaming,Apache Flink,Flink Streaming,我们在v1.13.0上开发了一个Flink应用程序,并将其部署在Kubernetes上,该Kubernetes在Kubernetes吊舱上运行任务管理器实例。我不确定如何确定每个task Manager实例上的理想任务槽数。我们应该在每个任务管理器/pod上配置/选择一个任务插槽,还是在每个任务管理器/pod上配置/选择两个或更多插槽。我们目前为每个task Manager实例配置了两个任务槽,并想知道这是否是正确的选择/设置。在任务管理器/pod上运行一个任务插槽与运行两个或多个插槽的优缺点是

我们在v1.13.0上开发了一个Flink应用程序,并将其部署在Kubernetes上,该Kubernetes在Kubernetes吊舱上运行任务管理器实例。我不确定如何确定每个task Manager实例上的理想任务槽数。我们应该在每个任务管理器/pod上配置/选择一个任务插槽,还是在每个任务管理器/pod上配置/选择两个或更多插槽。我们目前为每个task Manager实例配置了两个任务槽,并想知道这是否是正确的选择/设置。在任务管理器/pod上运行一个任务插槽与运行两个或多个插槽的优缺点是什么。

取决于您的预期工作负载、输入和状态大小


它是批处理还是流处理

批次:装载速度够快吗

水流:负载是否有反压

对于这些吞吐量限制,您可能需要增加TMs的数量


州大小:您如何处理数据?它需要大量的状态信息吗

例如,此查询:

SELECT
  user_id,
  count(*)
FROM user_logins
将需要一个与用户数量成比例的状态

您可以在选项中调整TM的内存

以下是一个有用的链接:


并发作业:这台机器是否使用不足,您是否需要保留一个未使用的TS池以准备执行作业

TM的内存将在TS之间切片(确保它适合您的状态大小),但CPU将在空闲时共享



除此之外,如果一个吊舱上的一个TM运行正常,则您无事可做。

取决于您的预期工作负载、输入和状态大小


它是批处理还是流处理

批次:装载速度够快吗

水流:负载是否有反压

对于这些吞吐量限制,您可能需要增加TMs的数量


州大小:您如何处理数据?它需要大量的状态信息吗

例如,此查询:

SELECT
  user_id,
  count(*)
FROM user_logins
将需要一个与用户数量成比例的状态

您可以在选项中调整TM的内存

以下是一个有用的链接:


并发作业:这台机器是否使用不足,您是否需要保留一个未使用的TS池以准备执行作业

TM的内存将在TS之间切片(确保它适合您的状态大小),但CPU将在空闲时共享



除此之外,如果在一个吊舱上的一个TM上运行正常,那么您就无事可做。

一般来说,对于集装箱化部署(如您的部署),每个TM一个插槽是一个很好的默认起点。这会使配置尽可能简单。

一般来说,对于集装箱化部署(如您的部署),每个TM一个插槽是一个很好的默认起点。这会使配置尽可能简单