Warning: file_get_contents(/data/phpspider/zhask/data//catemap/9/java/391.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Java 数据集的并行处理_Java_Concurrency - Fatal编程技术网

Java 数据集的并行处理

Java 数据集的并行处理,java,concurrency,Java,Concurrency,我有以下场景: 有两个SQL数据库。我必须从第一个数据库中读取一组行,从一行中提取一个XML字段,用XSLT和其他一些逻辑对其进行转换,然后将其插入第二个数据库。 XSLT转换相当昂贵(大约每行300毫秒),我认为此转换的并发处理将加快迁移速度 问题是:如何管理第一个数据库的读取过程?将所有行作为一个大容量读入集合并执行并发处理看起来是个坏主意。这里有什么样的模式吗?听起来很适合 您将能够定义从DB读取的读卡器,DB是执行XSLT转换和并行化过程的处理器。它还支持分块读取,因此您不必将整个数据集

我有以下场景:

有两个SQL数据库。我必须从第一个数据库中读取一组行,从一行中提取一个XML字段,用XSLT和其他一些逻辑对其进行转换,然后将其插入第二个数据库。 XSLT转换相当昂贵(大约每行300毫秒),我认为此转换的并发处理将加快迁移速度


问题是:如何管理第一个数据库的读取过程?将所有行作为一个大容量读入集合并执行并发处理看起来是个坏主意。这里有什么样的模式吗?

听起来很适合


您将能够定义从DB读取的读卡器,DB是执行XSLT转换和并行化过程的处理器。它还支持分块读取,因此您不必将整个数据集都存储在内存中。

再次感谢,我使用了Spring Batch,效果非常好。我已经发布了解决方案