Apache kafka 卡夫卡独立连接器是否自动同步,或者每次都需要重新启动

Apache kafka 卡夫卡独立连接器是否自动同步,或者每次都需要重新启动,apache-kafka,apache-kafka-connect,Apache Kafka,Apache Kafka Connect,我是卡夫卡的新手。我刚刚通过引用confluent中的步骤配置了一个Kafka独立连接器 Kafka连接器的工作是从文件-test.txt同步数据。 若我更新test.txt中的任何内容,它不会自动推送到topic-connect测试,而若我重新启动连接器,则会检测到来自test.txt的更新消息并推送到topic-connect测试 因此,我的疑问是,我是否必须安排此连接器检测更改,还是它会根据某个时间间隔自动在内部执行此任务。简短回答:正在运行的连接器会自动同步 如果我理解正确,您希望将文件

我是卡夫卡的新手。我刚刚通过引用confluent中的步骤配置了一个Kafka独立连接器

Kafka连接器的工作是从文件-test.txt同步数据。 若我更新test.txt中的任何内容,它不会自动推送到topic-connect测试,而若我重新启动连接器,则会检测到来自test.txt的更新消息并推送到topic-connect测试


因此,我的疑问是,我是否必须安排此连接器检测更改,还是它会根据某个时间间隔自动在内部执行此任务。

简短回答:正在运行的连接器会自动同步

如果我理解正确,您希望将文件
text.txt
的内容推送到kafka,从而允许kafka连接器从中读取新的dato

启动新的制作人,将文件内容推送到您的主题:

$ kafka-console-producer.sh --broker-list localhost:9092 --topic connect-test
--new-producer < text.txt
这条信息将出现在主题中


如果您的kafka连接器正在运行且配置正确,它将从主题中检索消息。

请提供您的kafka connect配置以及如何启动连接器。假设我已使用kafka配置JDBC连接器。无论数据库发生什么事件,JDBC连接器都会将其发送到集群(我假设)。如果OP将行的内容(即“新消息”修改为“最新消息”),kafka连接器会识别此类更新并将其发送给代理吗?我认为默认文件连接器不支持该功能。此外,编写一个自定义连接器来完成这样的工作也很困难。但是,如果数据流到数据库中,那么Kafka的JDBC连接器将能够识别此类事件。
$ echo "new message" >> text.txt