Java 在作业中进行大量选择后，Spring批处理内存不足

我的工作遇到了问题

我正在尝试从数据库中读取记录并写入txt文件。数据库包含1.800.000条记录，共149列，问题是select在jobConfig.xml中，在bean“mysqlItemReader”中，但是，我认为select试图加载JVM内存中的所有记录，然后我使用randtb.cliente limit 200000内存不足，它运行正常，但超过500k的记录我内存不足，如何避免这个错误？谢谢

<beans xmlns="http://www.springframework.org/schema/beans"
xmlns:batch="http://www.springframework.org/schema/batch" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xmlns:util="http://www.springframework.org/schema/util"
xsi:schemaLocation="http://www.springframework.org/schema/batch 

  http://www.springframework.org/schema/batch/spring-batch-2.2.xsd 
  http://www.springframework.org/schema/beans 
  http://www.springframework.org/schema/beans/spring-beans-3.2.xsd">

<import resource="Context.xml" />
<bean id="tutorial" class="extractor.main.Tutorial" scope="prototype" />
<bean id="itemProcessor" class="extractor.main.CustomItemProcessor" />

<batch:job id="helloWorldJob">
    <batch:step id="step1">
        <batch:tasklet>
            <batch:chunk reader="mysqlItemReader" writer="flatFileItemWriter"
                processor="itemProcessor" commit-interval="50">
            </batch:chunk>
        </batch:tasklet>
    </batch:step>
</batch:job>

<bean id="mysqlItemReader"
    class="org.springframework.batch.item.database.JdbcCursorItemReader">
    <property name="dataSource" ref="dataSource"/>
    <property name="sql" value="select * from randtb.cliente"/>
    <property name="rowMapper">
        <bean class="extractor.main.TutorialRowMapper"/>
    </property>
</bean>

<bean id="flatFileItemWriter" class=" org.springframework.batch.item.file.FlatFileItemWriter">
    <property name="resource" value="file:target/outputfiles/employee_output.txt" />
    <property name="lineAggregator">
        <bean
            class=" org.springframework.batch.item.file.transform.PassThroughLineAggregator" />
    </property>
</bean>

---

默认情况下，MySql将返回结果集中导致OOM异常的所有内容。为了不让它这样做，您需要设置JdbcCursorItemReadersetFetchSizeInteger.MIN_值。这将告诉Spring Batch在PreparedStatement上设置该值，并将PreparedStatementsetFetchDirectionResultSet.FETCH_向前设置。这将告诉MySql对数据进行流处理，从而不会破坏堆栈

因此，对于您的特定示例，您需要将ItemReader配置更改为：

<bean id="mysqlItemReader"
    class="org.springframework.batch.item.database.JdbcCursorItemReader">
    <property name="dataSource" ref="dataSource"/>
    <property name="sql" value="select * from randtb.cliente"/>
    <property name="fetchSize" value="#{T(java.lang.Integer).MIN_VALUE}"/>
    <property name="rowMapper">
        <bean class="extractor.main.TutorialRowMapper"/>
    </property>
</bean>

---

您可以在MySql的文档中阅读更多关于如何在MySql中工作的信息：请参阅ResultSet部分。

默认情况下，MySql将返回ResultSet中导致OOM异常的所有内容。为了不让它这样做，您需要设置JdbcCursorItemReadersetFetchSizeInteger.MIN_值。这将告诉Spring Batch在PreparedStatement上设置该值，并将PreparedStatementsetFetchDirectionResultSet.FETCH_向前设置。这将告诉MySql对数据进行流处理，从而不会破坏堆栈

因此，对于您的特定示例，您需要将ItemReader配置更改为：

<bean id="mysqlItemReader"
    class="org.springframework.batch.item.database.JdbcCursorItemReader">
    <property name="dataSource" ref="dataSource"/>
    <property name="sql" value="select * from randtb.cliente"/>
    <property name="fetchSize" value="#{T(java.lang.Integer).MIN_VALUE}"/>
    <property name="rowMapper">
        <bean class="extractor.main.TutorialRowMapper"/>
    </property>
</bean>

---

您可以在MySql的文档中阅读更多关于如何在MySql中工作的信息：请参阅ResultSet部分。

没有verifyCursorPosition，我得到了om.MySql.jdbc.RowDataDynamic$OperationNotSupportedException:流式处理结果集不支持的操作

但是，再加上它，它看起来起了作用

<bean id="mysqlItemReader"
class="org.springframework.batch.item.database.JdbcCursorItemReader">
<property name="dataSource" ref="dataSource"/>
<property name="sql" value="select * from randtb.cliente"/>
<property name="fetchSize" value="#{T(java.lang.Integer).MIN_VALUE}"/>
<property name="verifyCursorPosition" value="false"/>
<property name="rowMapper">
    <bean class="extractor.main.TutorialRowMapper"/>
</property>

---

没有verifyCursorPosition，我得到了om.mysql.jdbc.RowDataDynamic$OperationNotSupportedException:流式处理结果集不支持的操作

但是，再加上它，它看起来起了作用

<bean id="mysqlItemReader"
class="org.springframework.batch.item.database.JdbcCursorItemReader">
<property name="dataSource" ref="dataSource"/>
<property name="sql" value="select * from randtb.cliente"/>
<property name="fetchSize" value="#{T(java.lang.Integer).MIN_VALUE}"/>
<property name="verifyCursorPosition" value="false"/>
<property name="rowMapper">
    <bean class="extractor.main.TutorialRowMapper"/>
</property>

---

使用分页？分页不是很有效，但有更好的方法。您希望将提取大小设置为合适的大小，以便驱动程序不会同时尝试将所有行加载到内存中。使用分页？分页效果并不理想，但有更好的方法。您希望将fetch大小设置为合适的大小，这样驱动程序就不会同时尝试将所有行加载到内存中。对此我有点困惑，我最近经常看到这种情况。如果我的理解是正确的，那么当设置为1000时，使用MySQL设置fetch size将正常工作，但是特定的组合前进游标fetch size min值将导致使用不同的二进制协议，并逐个返回行，而不是像通常的fetch size那样成批返回？根据MySQL文档，为了让fetch size属性按照您描述的方式工作，您需要在连接上设置一个值useCursorFetch=true。这是一种更复杂的管理方法，因此SpringBatch不会公开该方法。如果您想获取这样的块，使用JdbcPagingItemReader是一个更好的选择。我想是MySQL/Connector/J的特性。我得到了com.MySQL.jdbc.RowDataDynamic$OperationNotSupportedException：流式处理结果集不支持操作，但我添加了这个，它看起来很有效。根据文档：这种方法有一些警告。在对连接发出任何其他查询之前，必须读取或关闭结果集中的所有行，否则将引发异常。但是，我可以创建另一个连接并执行另一个查询，对吗？我对此有点困惑，我最近经常看到它。如果我的理解是正确的，那么当设置为1000时，使用MySQL设置fetch size将正常工作，但是特定的组合前进游标fetch size min值将导致使用不同的二进制协议，并逐个返回行，而不是像通常的fetch size那样成批返回？根据MySQL文档，为了让fetch size属性按照您描述的方式工作，您需要在连接上设置一个值useCursorFetch=true。这是一种更复杂的管理方法，因此SpringBatch不会公开该方法。如果您想获取这样的块，使用JdbcPagingItemReader是一个更好的选择。我想是MySQL/Connector/J的特性。我得到了com.MySQL.jdbc.RowDataDynamic$OperationNotSupportedException：流式处理结果集不支持操作，但我添加了这个，它看起来很有效。根据文档：这种方法有一些警告。你必须读所有的行

---

在可以对连接发出任何其他查询之前，请在结果集中单击或关闭它，否则将引发异常。但是，我可以创建另一个连接并执行另一个查询，对吗？这对Postgres DB有效吗？对Postgres DB有效吗？