Apache kafka 卡夫卡能否将分布式工作者工作与主题';连接偏移量';配置为';cleanup.policy=compact,delete';

Apache kafka 卡夫卡能否将分布式工作者工作与主题';连接偏移量';配置为';cleanup.policy=compact,delete';,apache-kafka,apache-kafka-connect,ibm-eventstreams,Apache Kafka,Apache Kafka Connect,Ibm Eventstreams,我启动了一个kafka connect分布式工作集群,该集群使用主题连接偏移量进行偏移量存储: offset.storage.topic=connect-offset 由于代理提供了默认策略“cleanup.policy=delete”,因此在使用“cleanup.policy=compact”创建主题时,我最终将获得该主题的“cleanup.policy=compact,delete”。这会导致kafka connect工作进程引发异常: org.apache.kafka.common.co

我启动了一个kafka connect分布式工作集群,该集群使用主题
连接偏移量
进行偏移量存储:

offset.storage.topic=connect-offset
由于代理提供了默认策略“cleanup.policy=delete”,因此在使用“cleanup.policy=compact”创建主题时,我最终将获得该主题的“cleanup.policy=compact,delete”。这会导致kafka connect工作进程引发异常:

org.apache.kafka.common.config.ConfigException:通过“offset.storage.Topic”属性提供的主题“slpe connect offset”必须具有“cleanup.policy=compact”才能保证源连接器偏移的一致性和持久性,但发现该主题当前具有“cleanup.policy=compact,delete”。继续操作可能最终会导致丢失源连接器偏移量,并在将来重新启动此连接群集时出现问题。将连接工作程序配置中的“offset.storage.topic”属性更改为使用带有“cleanup.policy=compact”的主题


问题:是否有任何kafka connect worker配置允许使用此异常来保持工作进程?虽然这是一种风险,但在达到保留期或大小限制之前,删除将不会发生。

此验证在()中引入,并影响2.3.2、2.6.0、2.4.2、2.5.1版本:

当前更改有助于防止用户使用启用了删除清理策略的主题运行Connect,这将删除所有早于保留时间的连接器配置、源偏移以及连接器和任务状态。这意味着,例如,代理可以删除长时间运行的连接器的配置,这将在后续重新平衡或重新启动Connect worker时导致重新启动问题。 连接行为要求压缩其内部主题,并在保留一段时间后不删除

因此,对Kafka Connect interanl主题使用删除清除策略是非常不可取的:只需重新创建这些主题即可


没有任何可忽略此验证的配置属性,但如果需要,可以将Kafka Connect降级到没有此验证的版本。

感谢您提供的详细信息和指针!不客气!