Spring boot Spring批处理从RESTWeb服务读取大量数据

我需要处理来自RESTWeb服务的数据。以下基本示例是：

import org.springframework.batch.item.ItemReader;
import org.springframework.http.ResponseEntity;
import org.springframework.web.client.RestTemplate;

import java.util.Arrays;
import java.util.List;

class RESTDataReader implements ItemReader<DataDTO> {

private final String apiUrl;
private final RestTemplate restTemplate;

private int nextDataIndex;
private List<DataDTO> data;

RESTDataReader(String apiUrl, RestTemplate restTemplate) {
    this.apiUrl = apiUrl;
    this.restTemplate = restTemplate;
    nextDataIndex = 0;
}

@Override
public DataDTO read() throws Exception {
    if (dataIsNotInitialized()) {
        data = fetchDataFromAPI();
    }

    DataDTO nextData = null;

    if (nextDataIndex < data.size()) {
        nextData = data.get(nextDataIndex);
        nextDataIndex++;
    }
    else {
        nextDataIndex= 0;
        data = null;
    }

    return nextData;
}

private boolean dataIsNotInitialized() {
    return this.data == null;
}

private List<DataDTO> fetchDataFromAPI() {
    ResponseEntity<DataDTO[]> response = restTemplate.getForEntity(apiUrl,
            DataDTO[].class
    );
    DataDTO[] data= response.getBody();
    return Arrays.asList(data);
}
}

import org.springframework.batch.item.ItemReader；
导入org.springframework.http.ResponseEntity；
导入org.springframework.web.client.rest模板；
导入java.util.array；
导入java.util.List；
类RESTDataReader实现ItemReader{
私有最终字符串apirl；
私有最终RestTemplate RestTemplate；
私有int NEXTDATADINDEX；
私人名单数据；
RESTDataReader（字符串APIRL、RestTemplate RestTemplate）{
this.apiUrl=apiUrl；
this.restTemplate=restTemplate；
nextDataIndex=0；
}
@凌驾
public DataDTO read（）引发异常{
if（dataIsNotInitialized（））{
data=fetchDataFromAPI（）；
}
DataDTO nextData=null；
if（nextDataIndex

然而，我的fetchDataFromAPI方法是通过时隙调用的，它可以获得超过2000万个对象

例如：如果我在01012020和01012021之间调用它，我将获得8000万个数据

注：web服务通过一天的分页工作，即如果我想检索2020年9月1日至2020年9月7日之间的数据，我必须多次调用它（在2009年9月1日至2009年2月2日之间，然后在2009年9月2日至2009年3月3日之间，依此类推，直到2009年9月6日至7月7日）

在这种情况下，如果数据太大，我的问题是堆空间内存

我必须为每个月创建一个步骤，以避免在我的BatchConfiguration（12个步骤）中出现这个问题。第一步将在2020年1月1日至2020年2月1日期间调用web服务，以此类推

在进入处理器之前，是否有一种只需一步就能读取所有这些数据量的解决方案

---

提前感谢

因为您的web服务在一天内不提供分页，所以您需要确保调用此web服务的进程（即您的Spring批处理作业）有足够的内存来存储此服务返回的所有项目

例如：如果我在01012020和01012021之间调用它，我将获得8000万个数据

这意味着如果在没有足够内存保存结果的计算机上使用

curl

调用此web服务，则

curl

命令将失败。我想在这里指出的一点是，解决这个问题的唯一方法是为运行Spring批处理作业的JVM提供足够的内存，以容纳如此大的结果集

---

附带说明：如果您可以控制此web服务，我强烈建议您通过引入更细粒度的分页机制来改进它。

此web服务通过一天的分页工作。

：此web服务是否在同一天内提供分页，即粒度小于一天。例如，对于一天，是否可以按页面查询数据，比如说一次查询100个项目或1000个项目？不，只能按天查询，我必须在参数中精确第一天和第二天Hanks Mahmoud以获得您的响应，只是为了精确，因为我不够清楚。假设我们想要得到01012020和07012020之间的数据，我每天必须给web服务打6次电话。这是调用这个外部web服务的唯一方法，我已经很清楚了，谢谢。但这是问题的下一步，即如何从内存中丢弃给定一天的项目，并在第二天继续（这不是一个真正的问题，我们可以很容易地让JVM对这些项目进行垃圾收集）。主要的问题是你不能在一天内分页，所以你需要接受这样一个事实，即你可以获得比分配内存更多的数据，并为此做好准备。正是如此，这就是为什么我使用多个步骤（逐月）来确保内存保存数据，但我不喜欢这个解决方案。不管怎样，谢谢你的回复。好的，不客气

我不喜欢这个解决方案

：没问题，但我真的很好奇，除了为调用web服务的进程提供更多内存之外，是否还有解决这个问题的方法。确切地说，我也很好奇，我确信有解决这个问题的方法，但是