Apache flink 有没有关于动态缩放flink作业的想法?

Apache flink 有没有关于动态缩放flink作业的想法?,apache-flink,Apache Flink,如果有一个kafka主题有10个分区,我们想使用flink来使用这个主题。我们希望系统根据工作负载动态分配插槽,这意味着如果工作负载较低,flink作业可以使用较少的插槽(具有较少的并行性),如果工作负载较高,它可以以较高的并行性运行。有没有一个好的方法来实现这一点?首先停止作业似乎可以改变并行性。如果是,暂停时间是否会影响应用程序的实时功能?还有其他改变并行性的想法吗?多谢各位 有没有实现动态缩放的好方法 据我所知,目前的答案是否定的。然而,我们可以看出,这一点已在考虑中 暂停时间是否影响应用

如果有一个kafka主题有10个分区,我们想使用flink来使用这个主题。我们希望系统根据工作负载动态分配插槽,这意味着如果工作负载较低,flink作业可以使用较少的插槽(具有较少的并行性),如果工作负载较高,它可以以较高的并行性运行。有没有一个好的方法来实现这一点?首先停止作业似乎可以改变并行性。如果是,暂停时间是否会影响应用程序的实时功能?还有其他改变并行性的想法吗?多谢各位

有没有实现动态缩放的好方法

据我所知,目前的答案是否定的。然而,我们可以看出,这一点已在考虑中

暂停时间是否影响应用程序的实时功能

对。时间成本将在取消、重新启动、重新分配资源和状态等方面。

修改正在运行的作业的并行性有很多方法,但当前重新分配状态的唯一方法是创建保存点并从中重新启动,因此这就是重定比例的工作方式(至少目前如此)

如果您的应用程序正在使用事件时处理,那么结果应该不会受到重启的影响,但它们当然会因为停机而延迟


更新:以前有一个命令来进行重新缩放,但在Flink 1.9.0中暂时禁用了该命令。请参阅。

指向CLI命令的链接已断开。实际上我找不到正确的。您可以更新它吗?我更新了答案,解释了CLI命令在Flink 1.9.0中已被删除,但在正常工作时将返回。