Spring batch 春季批处理作业

Spring batch 春季批处理作业,spring-batch,Spring Batch,我们有两张桌子。在一个表中,数据不断从不同来源插入 要求是,我们需要从该表中读取记录并将其复制到另一个表中。应仅读取批处理程序以前未读取的记录,并将这些记录插入到另一个表中 我们考虑使用定期运行的Spring批处理。批处理将定期运行(每10分钟一次),并从该表复制数据(仅那些未复制到另一个表的记录),然后插入到另一个表中 我的问题是,如果一个批处理一次拾取100条记录,那么另一个批处理实例(如果一个批处理作业有两个实例运行)如何知道已经从数据库中拾取了一组记录?如果在复制数据时发生故障,我应该如

我们有两张桌子。在一个表中,数据不断从不同来源插入

要求是,我们需要从该表中读取记录并将其复制到另一个表中。应仅读取批处理程序以前未读取的记录,并将这些记录插入到另一个表中

我们考虑使用定期运行的
Spring批处理。批处理将定期运行(每10分钟一次),并从该表复制数据(仅那些未复制到另一个表的记录),然后插入到另一个表中


我的问题是,如果一个批处理一次拾取100条记录,那么另一个批处理实例(如果一个批处理作业有两个实例运行)如何知道已经从数据库中拾取了一组记录?如果在复制数据时发生故障,我应该如何处理该场景。

您必须处理“锁”或让某种编排器将数据提供给您的实例。如果可能,还可以使批处理作业幂等。这样,即使两个实例处理同一行,也没关系。请您详细说明一下。。如何防止在表中没有标志列的情况下,读取一个批处理作业实例已在数据库中读取的数据。。。通过spring batch处理这些类型的场景的最佳方法是什么。在reader查询中,您是否可以设置一个忽略已处理ID的逻辑?我的假设是相同的ID迁移可能是