Apache flink 从内存的角度来看,flink增加taskmanger堆大小或增加taskmanger的数量而不增加堆的最佳实践是什么?

Apache flink 从内存的角度来看,flink增加taskmanger堆大小或增加taskmanger的数量而不增加堆的最佳实践是什么?,apache-flink,flink-streaming,Apache Flink,Flink Streaming,在我们的生产中,我们使用了以下配置: version: flink:1.7-hadoop28 jobmanager.heap.size: 1024m taskmanager.heap.size: 2048m taskmanager.numberOfTaskSlots: 2 parallelism.default: 3 number of taskmanger :4 我们还在kubernetes上运行flink设置 信息: 我们在弗林克身上遇到了一个例外 org.apache.flink.uti

在我们的生产中,我们使用了以下配置:

version: flink:1.7-hadoop28
jobmanager.heap.size: 1024m
taskmanager.heap.size: 2048m
taskmanager.numberOfTaskSlots: 2
parallelism.default: 3
number of taskmanger :4
我们还在kubernetes上运行flink设置

信息:

我们在弗林克身上遇到了一个例外

org.apache.flink.util.FlinkException: JobManager responsible for cdf48d6ab1f5a7bf8acee52b6c274abd lost the leadership.
在进行研发时,我们发现

通过以上的解决方案,我们得到了这样的问题,这肯定是一个内存问题

问题陈述:

那么,我们应该水平放大还是垂直放大


哪一个最好?增加taskmanger堆大小或增加taskmanger的数量(假设它现在在4个实例上运行),我们将在不更改堆大小的情况下增加到5个。

如果没有更多信息,几乎不可能回答您的问题。你说的“上膛”是什么意思?您是否有任何指标可以证实您的发现?您在那里运行的作业是什么?我更新了上述信息。。够了吗?或者我再补充一点,你说你找到了解决方案,那么你还有其他问题吗?是的,但我不确定哪一个是flink的最佳水平或垂直缩放。我应该增加taskmanger的数量还是增加堆大小?我们没有足够的RAM用于其中一台服务器,因此如果垂直扩展是好的,那么我们必须增加RAM和堆大小。如果水平扩展良好,那么我们将创建另一台服务器,并添加一个具有现有堆大小的新taskmanager。如果没有更多信息,几乎不可能回答您的问题。你说的“上膛”是什么意思?您是否有任何指标可以证实您的发现?您在那里运行的作业是什么?我更新了上述信息。。够了吗?或者我再补充一点,你说你找到了解决方案,那么你还有其他问题吗?是的,但我不确定哪一个是flink的最佳水平或垂直缩放。我应该增加taskmanger的数量还是增加堆大小?我们没有足够的RAM用于其中一台服务器,因此如果垂直扩展是好的,那么我们必须增加RAM和堆大小。如果水平扩展良好,那么我们将创建另一台服务器,并添加一个具有现有堆大小的新taskmanager。