Parallel processing spring批处理-数据库到多个文件作业

Parallel processing spring批处理-数据库到多个文件作业,parallel-processing,spring-batch,Parallel Processing,Spring Batch,我试图在SpringBatch中实现一个面向块的步骤,该步骤从数据库中检索记录,并将每个块写入一个单独的文件。我需要我的工作来创建10个文件,每个文件有50条记录 PS:主要目的是并发创建输出文件。由于ItemWriter实现不是线程安全的,因此我决定创建单独的文件作为输出,以便减少完成该步骤所花费的总时间 asnyone知道如何用Spring批处理实现它吗?我发现了一个使用分区并行处理多个文件的示例项目,但这并不是我想要做的。在我的例子中,输入是一个表,而输出是多个文件 我建议您编写一个服务,

我试图在SpringBatch中实现一个面向块的步骤,该步骤从数据库中检索记录,并将每个块写入一个单独的文件。我需要我的工作来创建10个文件,每个文件有50条记录

PS:主要目的是并发创建输出文件。由于ItemWriter实现不是线程安全的,因此我决定创建单独的文件作为输出,以便减少完成该步骤所花费的总时间

asnyone知道如何用Spring批处理实现它吗?我发现了一个使用分区并行处理多个文件的示例项目,但这并不是我想要做的。在我的例子中,输入是一个表,而输出是多个文件


我建议您编写一个服务,该服务的角色是在文件中写入块。 此服务将接受一个输入:一个块。 它的逻辑是将其写入文件中。 您将在这个服务中编写您的多线程内容

批处理将以多线程方式向此服务发送块

因此,您可以通过Spring批处理获得多线程的好处,并通过编写将块输出到文件中的服务来控制潜在的bug

使用一个代理将写作内容委托给您的服务。

我找到了答案

spring批处理示例中的partitionJdbcJob正是我想要的


感谢您的回复Jean-Philippe。我在spring批处理示例中找到了partitionJdbcJob.xml,这对我很有用。这是链接你能验证一下答案吗?