Warning: file_get_contents(/data/phpspider/zhask/data//catemap/8/mysql/72.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Mysql Jdbc Spring Kafka id列跟踪_Mysql_Spring_Spring Mvc_Jdbc_Apache Kafka - Fatal编程技术网

Mysql Jdbc Spring Kafka id列跟踪

Mysql Jdbc Spring Kafka id列跟踪,mysql,spring,spring-mvc,jdbc,apache-kafka,Mysql,Spring,Spring Mvc,Jdbc,Apache Kafka,我用spring连接jdbc,用Kafka连接spring,但现在我遇到了问题。我试图每800毫秒将数据从jdbc推送到Kafka,但我不知道如何跟踪,让Spring知道“从哪里”(例如: 800毫秒他得到了id=10000 800毫秒他需要从id=10001)开始收集和推送新数据 我不能使用时间戳,因为我在同一时刻数据库中有不止一行,id是好的表示,因为他可以达到它的极限吗 我想使用周期性触发器,它们是在春季实现的,但这是一个好方法还是有人有更好的想法 编辑 由于@TobiSH要求提供更多信息

我用spring连接jdbc,用Kafka连接spring,但现在我遇到了问题。我试图每800毫秒将数据从jdbc推送到Kafka,但我不知道如何跟踪,让Spring知道“从哪里”(例如:

  • 800毫秒他得到了id=10000
  • 800毫秒他需要从id=10001)开始收集和推送新数据 我不能使用时间戳,因为我在同一时刻数据库中有不止一行,id是好的表示,因为他可以达到它的极限吗

    我想使用周期性触发器,它们是在春季实现的,但这是一个好方法还是有人有更好的想法

    编辑


    由于@TobiSH要求提供更多信息,它们就在这里。所以,数据一直在数据库中输入,每毫秒一次。我想在Spring中触发应用程序(每800毫秒一次),所以Spring会提取数据,发送给kafka,然后使用Spark在kafka中计算数据,并将其推送到Cassandra/Hadoop,但这是另一种情况。所以,不,我不想每次数据库中的某些内容发生更改时触发应用程序,我想触发应用程序从数据库收集数据(每800毫秒一次),但仅限于他尚未收集的数据。

    您能更详细地描述一下您的问题吗?是什么触发了卡夫卡?每次mysql数据库发生更改时?这听起来很难。也许你可以添加你的特定用例。给你。现在更清楚了吗?哪些数据应该由spring拉取?实际上我对春天知之甚少。但我想很难找出发生了什么变化。你确定spring能做到吗?我将从一个简单的方法(没有卡夫卡)开始,它只是将数据写入标准输出。如果这行得通,剩下的就不会那么复杂了。。。