Java apachekafka中数据的增量加载

我有这样一个场景，我需要从Oracle数据库中获取数百万条记录，然后需要将这些记录以1000条的形式发送给ApacheKafka生产者

在下次获取记录时，我必须避免将已推送的记录拉到Kafka，而是选择更新的记录。这是增量加载处理的一种形式

---

请告诉我是否有任何方法可用于此场景，我应该遵循。

使用CDC将数据库（如Oracle）中的更改流式传输到Kafka。您有多种选择，包括GoldenGate、DBVisit、Attunity等

---

或者，根据对递增键或时间戳的更改，使用将记录流式传输到Kafka中。这并不像CDC那样具有可扩展性和灵活性，但具有免费的优势：）

是的，这是一种方法。但我正在寻找完全用java代码编写的东西。我试图避免使用第三方工具或连接器。对于这一点，我应该采用什么方法？>我正在寻找完全用java代码编写的东西。我试图避免使用第三方工具或连接器，为什么？你说的是重写一些已经存在的东西，以Kafka Connect的形式（或者，如果你想直接进入事务日志，请使用CDC）是的，因为我们在使用第三方工具方面有一些限制。有什么建议吗？如何在发送给制作人之前获取/分割记录。所以没有第三方工具？或者只是没有商业工具？你可以使用计算机吗？；-）听起来像是一个相当严格和毫无意义的要求TBH。Kafka Connect是一个API，如果您正在使用Kafka，绝对没有理由不使用它的API。