Apache kafka 在Kafka中启动多个连接器连接单个分布式工作程序？

如何在3台不同服务器上运行的单个分布式工作区内启动Kafka Connect world中的多个Kafka连接器

现在，我需要在这个分布式WorkerName group.id中使用4个Kafka连接器

目前，我使用下面的curl命令一次添加一个连接器

curl -X POST -H "Content-type: application/json" -d '<my_single_connector_config>' 'http://localhost:8083/connectors'

问题:

对于我添加的每个新连接器，以前的/现有连接器将与新连接器一起重新启动。 问题:

我应该如何在分布式工作模式下通过一个REST调用启动/创建所有这些新连接器？ 是否有任何方法可以在一个REST调用中配置所有连接器，就像配置连接器阵列一样？ 我试图搜索相同的，但没有找到任何解决方法

谢谢

对于我添加的每个新连接器，以前的/现有连接器将与新连接器一起重新启动

是的，这就是卡夫卡连接目前的行为。有关进一步讨论，请参见：

我应该如何在分布式工作模式下通过一个REST调用启动/创建所有这些新连接器？ 是否有任何方法可以在一个REST调用中配置所有连接器，就像配置连接器阵列一样

你不能在一次REST呼叫中完成这项工作

如果要在创建/更新连接器时将它们彼此隔离，可以只运行多个分布式集群

因此，您可以有3个分布式连接群集，每个群集运行1个连接器，而不是1个分布式连接群集运行3个连接器

请记住，在实践中，“分布式集群”可能只是一个节点，实际上可以在同一台机器上运行。您可以扩展到弹性和吞吐量

对于我添加的每个新连接器，以前的/现有连接器将与新连接器一起重新启动

是的，这就是卡夫卡连接目前的行为。有关进一步讨论，请参见：

我应该如何在分布式工作模式下通过一个REST调用启动/创建所有这些新连接器？ 是否有任何方法可以在一个REST调用中配置所有连接器，就像配置连接器阵列一样

你不能在一次REST呼叫中完成这项工作

如果要在创建/更新连接器时将它们彼此隔离，可以只运行多个分布式集群

因此，您可以有3个分布式连接群集，每个群集运行1个连接器，而不是1个分布式连接群集运行3个连接器

---

请记住，在实践中，“分布式集群”可能只是一个节点，实际上可以在同一台机器上运行。您可以扩展恢复能力和吞吐量。

谢谢，我就是这么想的。我希望将来他们会对此问题有一些解决方案或解决方法。如果您在Apache Kafka上打开JIRA，我们有可能改进REST API并支持同时创建多个连接器的请求。听起来是个好主意，甚至很容易做到。此外，我们正在努力避免创建新连接器时的所有重启。谢谢，我在这里创建了JIRA作为改进谢谢，这就是我的想法。我希望将来他们会对此问题有一些解决方案或解决方法。如果您在Apache Kafka上打开JIRA，我们有可能改进REST API并支持同时创建多个连接器的请求。听起来是个好主意，甚至很容易做到。此外，我们正在努力避免创建新连接器时的所有重启。谢谢，我在这里创建了JIRA作为改进