Sql server 汇合平台:源连接器(jdbc)一直在拉旧数据

Sql server 汇合平台:源连接器(jdbc)一直在拉旧数据,sql-server,oracle,jdbc,apache-kafka,confluent-platform,Sql Server,Oracle,Jdbc,Apache Kafka,Confluent Platform,我正在使用Confluent Platform 4.1.1将数据从sql server传输到Oracle数据库。 为此,我使用时间戳+递增模式和合流JDBC。 但有时我会看到源连接器一次又一次地提取相同的旧数据(它以前已经同步过),并一直将其写入Kafka日志文件,因为同步插入sql server表中的任何新数据需要花费大量时间。 在这种情况下,当我检查消费者滞后时,它将是巨大的 我认为这是因为它正在失去补偿。我使用offset.retention 24小时(默认值)。因此,我将它增加到7天,但

我正在使用Confluent Platform 4.1.1将数据从sql server传输到Oracle数据库。 为此,我使用时间戳+递增模式和合流JDBC。 但有时我会看到源连接器一次又一次地提取相同的旧数据(它以前已经同步过),并一直将其写入Kafka日志文件,因为同步插入sql server表中的任何新数据需要花费大量时间。 在这种情况下,当我检查消费者滞后时,它将是巨大的

我认为这是因为它正在失去补偿。我使用offset.retention 24小时(默认值)。因此,我将它增加到7天,但仍然会间歇性地看到问题,即使我们每天都有交易

有人能解释一下这种行为吗。如有需要,我很乐意提供更多细节