Apache kafka 卡夫卡连接配置和偏移主题可以共享吗
两个Apacke Kafka Connect元数据主题Apache kafka 卡夫卡连接配置和偏移主题可以共享吗,apache-kafka,Apache Kafka,两个Apacke Kafka Connect元数据主题config.storage.topic和offset.storage.topic能否在两个或多个独立的Kafka Connect群集之间安全共享 而文件中对每一项都规定: 对于具有相同组.id的所有工作人员,这必须相同 文档中不清楚这些主题是否需要由单个Kafka Connect集群拥有 从广义上讲,我可以看到我的connectgroup.id可以用作主题中项目的前缀,但不清楚它是否可以,也不清楚它是否可以作为将connect集群从彼此的元
config.storage.topic
和offset.storage.topic
能否在两个或多个独立的Kafka Connect群集之间安全共享
而文件中对每一项都规定:
对于具有相同组.id
的所有工作人员,这必须相同
文档中不清楚这些主题是否需要由单个Kafka Connect集群拥有
从广义上讲,我可以看到我的connect
group.id可以用作主题中项目的前缀,但不清楚它是否可以,也不清楚它是否可以作为将connect集群从彼此的元数据中分离出来的安全方法。每个集群都需要自己的专用主题
如果您有多个Kafka Connect群集试图使用相同的配置/偏移/状态主题,即使设置了不同的group.id
,您也会从Kafka Connect获得大量错误和/或意外行为 有趣。否则我会猜到的。谢谢:-)是的-基于唯一性,它无法与group.id
共享,这似乎很遗憾,但我可以用它确认它肯定不起作用:)此外,如果您使用控制台使用者从偏移主题消费,您可以看到消息的格式为:{“offset”:1234}不幸的是,它不包含group.id或任何其他有用的内容。