Apache kafka kafka connect-s3连接器-JVM堆-估计堆大小计算

我试图在我们的环境中实现卡夫卡连接的产品化。出于infra需求的目的，我正在寻找如何估计每个节点所需的JVM堆大小。我有两个主题想通过s3连接器进入s3。我看不到有什么好文章能得出估计数。有人能给我指点路吗？

没有好的指点路，因为连接器太容易配置了

例如，每个任务（max.tasks）将批量记录到刷新大小（flush.size），然后将其转储到存储器中

如果您使用的是DefaultPartitor，则可以估计每个分区存储的记录数、每个节点将运行的任务数、消耗的主题总数，并得出一个粗略的数字

如果您使用的是TimeBasedPartitioner，则需要考虑分区持续时间和计划的旋转间隔。我可以说8GB RAM能够在一个小时分区上从几个分区写入多个GB文件，所以我认为您不需要比这更多的堆来启动

就其他文档而言，本期有一个不错的描述