Apache kafka 卡夫卡连接动态添加更多主题

我对一些话题有兴趣。
使用以下配置：

{
    connection.url": "https://my-es-cluster:443",
    "connector.class": "io.confluent.connect.elasticsearch.ElasticsearchSinkConnector",
    "key.converter": "org.apache.kafka.connect.storage.StringConverter",
    "key.ignore": "true",
    "topics": "topic1,topic2",
    ...
}

当它运行时，我可以添加更多主题吗？
会发生什么事？
如果我从列表中删除一些主题，然后稍后再添加它们会怎么样

我想在这里添加一个新的

主题3

：

{
    ...
    "topics": "topic1,topic2,topic3",
    ...
}

我要删除的主题是什么？是否会重新使用其他主题？：

{
    ...
    "topics": "topic1,topic3",
    ...
}

---

由于您已经运行了

kafka

和

kafka connect

，因此可以使用

kafka connect

的REST API检查您自己：

如果添加新主题（

topic3

），则当前该主题中的所有邮件（根据保留策略）都将被使用

PUT http://kafka-connect:8083/connectors/my-test-connector/config
{
   ...
   "topics": "topic1,topic2,topic3",
   ...
}

检查此连接器的状态和配置：

GET http://kafka-connect:8083/connectors/my-test-connector

如果要禁用某些主题，只需使用

PUT

更新该连接器的配置

PUT http://kafka-connect:8083/connectors/my-test-connector/config
{
   ...
   "topics": "topic1,topic3",
   ...
}

主题1和主题3不会发生任何变化。仅

topic2

将不再被消费。
但如果要返回，则来自

topic2

的消息将从上次提交的偏移量开始使用，而不是从开始使用

对于存储的每个

消费者组

上次提交的

偏移量

，将主题从配置中删除一段时间并不重要。 在这种情况下，消费者组将是

连接我的测试连接器

甚至是删除连接器（

deletehttp://kafka-connect:8083/connectors/my-测试连接器

），然后使用相同的名称再次创建它，将保存偏移量，并在删除它时继续使用。（注意保留政策，通常为7天）