Mysql Jdbc Spring Kafka id列跟踪
我用spring连接jdbc,用Kafka连接spring,但现在我遇到了问题。我试图每800毫秒将数据从jdbc推送到Kafka,但我不知道如何跟踪,让Spring知道“从哪里”(例如:Mysql Jdbc Spring Kafka id列跟踪,mysql,spring,spring-mvc,jdbc,apache-kafka,Mysql,Spring,Spring Mvc,Jdbc,Apache Kafka,我用spring连接jdbc,用Kafka连接spring,但现在我遇到了问题。我试图每800毫秒将数据从jdbc推送到Kafka,但我不知道如何跟踪,让Spring知道“从哪里”(例如: 800毫秒他得到了id=10000 800毫秒他需要从id=10001)开始收集和推送新数据 我不能使用时间戳,因为我在同一时刻数据库中有不止一行,id是好的表示,因为他可以达到它的极限吗 我想使用周期性触发器,它们是在春季实现的,但这是一个好方法还是有人有更好的想法 编辑 由于@TobiSH要求提供更多信息
由于@TobiSH要求提供更多信息,它们就在这里。所以,数据一直在数据库中输入,每毫秒一次。我想在Spring中触发应用程序(每800毫秒一次),所以Spring会提取数据,发送给kafka,然后使用Spark在kafka中计算数据,并将其推送到Cassandra/Hadoop,但这是另一种情况。所以,不,我不想每次数据库中的某些内容发生更改时触发应用程序,我想触发应用程序从数据库收集数据(每800毫秒一次),但仅限于他尚未收集的数据。您能更详细地描述一下您的问题吗?是什么触发了卡夫卡?每次mysql数据库发生更改时?这听起来很难。也许你可以添加你的特定用例。给你。现在更清楚了吗?哪些数据应该由spring拉取?实际上我对春天知之甚少。但我想很难找出发生了什么变化。你确定spring能做到吗?我将从一个简单的方法(没有卡夫卡)开始,它只是将数据写入标准输出。如果这行得通,剩下的就不会那么复杂了。。。