Java 需要作为docker容器的分布式模式的jdbc Kafka connect配置设置的参考文档或代码

我需要设计和配置Kafka jdbc connect项目，其中源和接收器都是postgres db，我使用的是ApacheKafka 2.8

我已经为独立模式准备了POC，但我需要为分布式模式设计它，数据量将是数百万条记录

您能否分享有关分布式模式设置、参数调整和最佳实践的任何参考资料

我已经阅读了一些文档，但没有得到仅针对带有jdbc连接器的ApacheKafka的精确文档

另外，请让我知道如何使此解决方案对接

谢谢

苏文杜

参考分布式模式的设置

这在卡夫卡的文档中。运行

connectdistributed.sh

及其配置文件

参数调整和最佳实践

该配置具有合理的默认值，但欢迎您检查该文件是否有任何更改。只有另一件事是堆设置，但2G是默认的Xmx，可以使用

KAFKA\u heap\u OPTS

env var设置

这将启动一个HTTP服务器，并向其发布JSON，该JSON具有与独立jdbc工作文件相同的键值

仅适用于带jdbc连接器的apache Kafka的精确文档

这里有官方的配置页面和一些关于它的博客（Confluent）

如何使此解决方案固定

Confluent Docker映像最适合这样做，不过您可能需要

Confluent hub将

JDBC连接器安装到自己的映像中

---

我推荐Debezium作为来源，不过

谢谢@onecricketeer，你能告诉我应该如何附加/配置sink“reporter”以在elastic中报告吗？会是另一个连接器工人吗？你在找这样的东西吗。。。或者感谢@onecricketeer的回复，实际上我想在sink操作后配置“reporter.result.topic.name”，然后我想将“reporter.result.topic.name”主题的数据保存到Elastic。我使用docker compose使kafka connect运行。所以如果我能配置“reporter”部分，我需要教程和概念。我不明白你的意思

reporter.result.topic.name

不是Kafka Connect属性名称，也没有名为“reporter”的概念/术语。除此之外，要求提供教程是离题的，但上面的链接向您展示了如何将任何主题下沉到Elastica。实际上，我在这个链接中指的是“Connect reporter”，但在我的kafka Connect docker下沉操作中仍然没有了解如何配置它。"". 我需要配置成功和失败操作。