Java Spring批处理读取器'；s游标在JTA事务管理步骤中提前关闭

有关步骤的工作配置如下所示：

• Step、Spring批处理作业存储库和业务存储库（使用各种数据源）都使用JTA事务管理器
• 步骤“myStep”使用Jdbc分页项读取器
• WebLogic、Oracle XE和/或EE

我想分析“myStep”中Jdbc游标项读取器的性能，但是在第一次提交后，第二个块的第一次读取将失败，java.sql.SQLException:Result set已经关闭

我怀疑可能是JTA/XA驱动程序出于某种原因关闭了游标，因此我给了“myStep”一个简单的数据源事务管理器（在读者使用的数据源上），并且该步骤能够成功完成。这不是一个解决方案，因为这破坏了步骤的事务完整性

我是否应该能够在JTA管理的步骤中使用游标读取器（使用下面描述的环境）？如果是这样的话，我的终端上有哪些配置可能不正确

环境

• 事务管理器：

• 数据源驱动程序：OracleXADataSource JDBC 6 11.1.0.7.0
• WebLogic:12.1.3.0.0
• Oracle DB 11g:Enterprise Edition 11.2.0.4.0
• 操作系统：OSX还是Linux

配置

<bean id="myTransactionManager" class="org.springframework.transaction.jta.JtaTransactionManager"/>

<bean id="myDataSource" class="org.springframework.jndi.JndiObjectFactoryBean">
    <property name="jndiName" value="jdbc/myDataSource"/>
    <property name="proxyInterface" value="javax.sql.DataSource"/>
</bean>

<batch:step id="myStep" job-repository="myJobRepositoryFactory">
    <batch:tasklet transaction-manager="myTransactionManager">
        <batch:chunk
                reader="myReader"
                processor="myProcessor"
                writer="myWriter"
                commit-interval="100"
                processor-transactional="false"/>
        <batch:listeners>
            <batch:listener ref="myListener"/>
        </batch:listeners>
    </batch:tasklet>
</batch:step>

<bean id="myReader" class="org.springframework.batch.item.database.JdbcCursorItemReader" scope="step">
    <property name="dataSource" ref="myDataSource"/>
    <property name="sql" value="SELECT * FROM myHugeTable ORDER BY myColumn DESC"/>
    <property name="rowMapper">
        <bean class="myRowMapper"/>
    </property>
</bean>

---

您应该能够在JTA管理的步骤中使用游标读取器。我们正是在我正在进行的项目中这样做的。我们使用Atomikos作为XA TM

这是我们使用的XA/JTA配置。也许它对你有些用处：

@Bean(initMethod = "init", destroyMethod = "shutdownForce")
public UserTransactionService userTransactionService() {
    return new UserTransactionServiceImp(userTransactionServiceProperties());
}

@Bean(initMethod = "init", destroyMethod = "close")
@DependsOn("userTransactionService")
public UserTransactionManager atomikosTransactionManager() {
    UserTransactionManager userTransactionManager = new UserTransactionManager();
    userTransactionManager.setForceShutdown(true);
    userTransactionManager.setStartupTransactionService(false);
    return userTransactionManager;
}

@Bean
@DependsOn("userTransactionService")
public UserTransaction atomikosUserTransaction() throws SystemException {
    return new UserTransactionImp();
}

@Bean
@DependsOn("userTransactionService")
public JtaTransactionManager transactionManager() throws SystemException {
    JtaTransactionManager jtaTransactionManager = new JtaTransactionManager();
    jtaTransactionManager.setTransactionManager(atomikosTransactionManager());
    jtaTransactionManager.setUserTransaction(atomikosUserTransaction());
    jtaTransactionManager.setAllowCustomIsolationLevels(true);
    return jtaTransactionManager;
} 

我们所有的数据源都被实例化为org.springframework.boot.jta.atomikos.AtomikosDataSourceBean。例如，Ora数据源的实例化如下：

    AtomikosDataSourceBean oraXaDs = new AtomikosDataSourceBean();
    oraXaDs.setXaDataSourceClassName(oraDsProp.getDatasourceClass());
    oraXaDs.setUniqueResourceName(oraDsProp.getInstancename());
    oraXaDs.setMinPoolSize(oraDsProp.getPoolMinSize());
    oraXaDs.setMaxPoolSize(oraDsProp.getPoolMaxSize());
    oraXaDs.setTestQuery(oraDsProp.getValidConnectionSQL());

    Properties oraXaDsProps = oraXaDs.getXaProperties();
    oraXaDsProps.setProperty("user", oraDsProp.getUser());
    oraXaDsProps.setProperty("password", oraDsProp.getPassword());
    oraXaDsProps.setProperty("URL", oraDsProp.getUrl());

---

我对这个问题的看法是：

首先是一些见解：

从数据库游标读取意味着打开一个连接，对其触发一条SQL语句，并在整个批处理作业期间不断读取行。这是有道理的，因为作业的输入数据通常可以由一条SQL语句来描述，但是执行它并预先从ResultSet读取所有数据当然不是解决方案。我们这里只有一个问题：提交事务会关闭连接那么我们如何保持开放？简单的解决方案：它不参与事务。Spring Batch的JdbcCursorItemReader使用单独的连接打开游标，从而绕过事务管理器管理的事务。 在应用服务器环境中，我们必须做更多的工作才能使其正常工作。通常，我们从应用服务器管理的数据源获取连接，默认情况下，所有这些连接都参与事务。我们需要设置一个单独的数据源，它不参与事务，只将它注入到基于游标的读取器中。在其他任何地方注射它们都可能会对交易安全造成很大损害

您的问题基本上在您的步骤中：（根据我在不查看数据源xml文件的情况下得出的结论：）

Step、Spring批处理作业存储库和业务存储库（使用各种数据源）都使用JTA事务管理器。

spring提供的JTA事务管理器应以weblogic处理JTA事务的方式使用。您只需配置数据源（也应位于容器下）以使用XA感知驱动程序，并在应用程序中使用相应的事务管理器，并通过JNDI查找XA感知数据源

但是，如果您不能依赖容器（例如，您正在编写一个独立的应用程序等），则需要找到一个能够使用该容器的事务管理器。Atomikos是最著名的免费JTA/XA库之一

话虽如此，在使用JNDI方式或Atomikos方式进行配置后，在使用多个数据源时，应记住以下配置：

<batch:tasklet>
  <batch:transaction-attributes isolation="READ_COMMITTED" propagation="REQUIRES_NEW" timeout="200"/>
  <batch:chunk reader="myItemReader" writer="myItemWriter" commit-interval="20"/>
</batch:tasklet>

---

希望这能在这个问题上澄清一些问题。

不幸的是，我认为我们的问题是特定于我们的WebLogic配置；Atomikos可能以不同的方式处理游标。我没有看到任何地方提到您的数据源配置、db驱动程序、weblogic版本、操作系统等？你能将数据添加到问题中吗？你使用的是哪个线程执行器？。您可以添加您的作业配置吗？梅帮助别人too@eis我添加了您要求的信息--如果您需要更多信息，请告诉我。谢谢你查看这个！您能否共享

步骤的代码“myStep”使用Jdbc分页项目阅读器。

@Jan我编辑了这个问题，添加了您请求的信息。我想你的意思是“Jdbc游标项阅读器”，因为我不想使用分页阅读器。你的第一段评论来自@Tobias Flohre的博客：如果我接受Tobias的建议，用非XA驱动程序创建一个额外的数据源，并用游标使用这个额外的数据源，一切都会正常。但我的问题仍然是：我们能在JTA事务中使用XA数据源在提交之间保持游标打开吗关于后面的几点：数据源是使用JNDI配置的，配置为使用XA驱动程序，我们遇到了在提交后关闭游标结果集的问题。

<batch:tasklet>
  <batch:transaction-attributes isolation="READ_COMMITTED" propagation="REQUIRES_NEW" timeout="200"/>
  <batch:chunk reader="myItemReader" writer="myItemWriter" commit-interval="20"/>
</batch:tasklet>