Kafka JDBC连接器批量模式
kafka connect jdbc连接器在特定时间间隔后以批量模式连续发送相同的记录。以下是我的连接器属性:Kafka JDBC连接器批量模式,jdbc,apache-kafka,kafka-producer-api,Jdbc,Apache Kafka,Kafka Producer Api,kafka connect jdbc连接器在特定时间间隔后以批量模式连续发送相同的记录。以下是我的连接器属性: name=test-mssql-jdbc-autoincrement connector.class=io.confluent.connect.jdbc.JdbcSourceConnector tasks.max=1 connection.url=jdbc:jtds:sqlserver://localhost:1433/TESTDB;user=sa;passw
name=test-mssql-jdbc-autoincrement
connector.class=io.confluent.connect.jdbc.JdbcSourceConnector
tasks.max=1
connection.url=jdbc:jtds:sqlserver://localhost:1433/TESTDB;user=sa;password=sa12345
query=SELECT * FROM WF_PROCESS
mode=bulk
topic.prefix=TEST-
key.serializer=io.confluent.kafka.serializers.KafkaAvroSerializer
value.serializer=io.confluent.kafka.serializers.KafkaAvroSerializer
table.blacklist=trace_xe_action_map,trace_xe_event_map
您必须进行配置。基本上,Kafka connector需要一种方法来确定如何在每次启动查询时获取增量数据 批量模式应该在每次调用poll方法时发送所有记录。使用批量模式的主要用例是定期备份数据库表。您可以通过调整poll.interval.ms来配置备份频率
要避免这种情况,请不要使用批量模式。而是使用“时间戳+递增”或“时间戳”或“递增模式”。有关更多详细信息,请参阅链接。是否有方法在批量模式下运行时停止连接器。我想要的是在批量模式下只接收一次记录。高延迟然后停止