Apache kafka 卡夫卡2.0-卡夫卡连接接收器-创建卡夫卡制作人

我们目前使用的是HDF（Hortonworks数据流）3.3.1，它捆绑了Kafka 2.0.0，并试图在分布式模式下使用Kafka Connect来启动Google Cloud PubSub-Sink连接器。 我们计划将一些元数据发送回Kafka主题，并需要将Kafka生产者集成到Sink任务java代码的flush（）函数中

这会不会对Kafka Connect将偏移提交回Kafka的过程产生负面影响（因为我们会在刷新之前增加运行Kafka生产者的开销）。

另外，当接收器或源的连接器属性中未指定引导服务器列表时，Kafka Connect如何从配置中获取引导服务器列表？我需要使用相同的引导服务器列表来启动生产者。 目前，我正在更改接收器连接器的配置，将引导服务器列表添加为属性，并在连接器的Java代码中对其进行解析。如果可能的话，我想使用Kafka Connect worker属性中的引导服务器列表

请帮忙

提前谢谢

需要将Kafka生产者集成到Sink任务java代码的flush（）函数中

SinkTask API中没有公开的生产者实例

这会不会对Kafka Connect将偏移提交回Kafka的过程产生负面影响（因为我们会在刷新之前增加运行Kafka生产者的开销）

我的意思是，你可以添加任何你想要的代码。就负面影响而言，这取决于您对自己的基础设施进行基准测试。显然，添加更多的阻塞代码会使其他进程总体上变慢

当接收器或源的连接器属性中未指定引导服务器列表时，Kafka Connect如何从配置中获取引导服务器列表

汇和源不是工人。查看

connectdistributed.properties

如果可能的话，我想使用Kafka Connect worker属性中的引导服务器列表

这是不可能的。向接收器/源配置添加额外属性是唯一的方法。（尽管如此，您可以随意制作一个Kafka JIRA，请求提供公开worker配置的功能）