Kafka JDBC连接器批量模式

Kafka JDBC连接器批量模式,jdbc,apache-kafka,kafka-producer-api,Jdbc,Apache Kafka,Kafka Producer Api,kafka connect jdbc连接器在特定时间间隔后以批量模式连续发送相同的记录。以下是我的连接器属性: name=test-mssql-jdbc-autoincrement connector.class=io.confluent.connect.jdbc.JdbcSourceConnector tasks.max=1 connection.url=jdbc:jtds:sqlserver://localhost:1433/TESTDB;user=sa;passw

kafka connect jdbc连接器在特定时间间隔后以批量模式连续发送相同的记录。以下是我的连接器属性:

    name=test-mssql-jdbc-autoincrement
    connector.class=io.confluent.connect.jdbc.JdbcSourceConnector
    tasks.max=1
 connection.url=jdbc:jtds:sqlserver://localhost:1433/TESTDB;user=sa;password=sa12345
    query=SELECT * FROM WF_PROCESS
    mode=bulk
    topic.prefix=TEST-
    key.serializer=io.confluent.kafka.serializers.KafkaAvroSerializer
    value.serializer=io.confluent.kafka.serializers.KafkaAvroSerializer
    table.blacklist=trace_xe_action_map,trace_xe_event_map

您必须进行配置。基本上,Kafka connector需要一种方法来确定如何在每次启动查询时获取增量数据

批量模式应该在每次调用poll方法时发送所有记录。使用批量模式的主要用例是定期备份数据库表。您可以通过调整poll.interval.ms来配置备份频率


要避免这种情况,请不要使用批量模式。而是使用“时间戳+递增”或“时间戳”或“递增模式”。有关更多详细信息,请参阅链接。

是否有方法在批量模式下运行时停止连接器。我想要的是在批量模式下只接收一次记录。高延迟然后停止