Java 内存峰值试图加载大量对象并向下流至csv

我们有一个web应用程序，用户可以通过单击链接下载数据列表。它所做的是在MS sql server数据库中触发一个存储过程，获取包含14列和所有字符串的行。一旦我们得到它并从结果集中提取，我们就直接将其流式传输到客户端机器上的csv文件中。这样，在开始流操作之前，我们就可以在内存中保存创建中间域对象（等于返回的行数）。我们也不会等到整个结果集都加载到内存中。 然而，对于拥有80000个这样的数据实例的客户端来说——它仍然会使内存增加50MB——然后会减少20MB左右，并在相当长的一段时间内保持在这个水平。如果我在jconsole上执行GC，它也会释放剩余的30 mb。不确定是什么原因导致这种情况持续一段时间。此外，对于运行在1.2 gig内存上的应用程序，50 mb峰值是不可接受的。对于更大的客户机，它会增加400MB并冻结应用程序，否则会发生OOM。 有什么建议我们可以做到这一点吗？ 请注意-我已经在另一个地方实现了相同的东西，有下载相同大小的文件，但不同的数据（6列）在5秒，只有5 mb的内存峰值。在本例中，存储的进程只需4秒钟就可以运行，但在Sql Mnagation studio上运行时需要4秒钟。但是，我得到了一个巨大的峰值，查询本身需要45秒才能运行，而且更多的是基于数据，因为它通过了大量的验证。这会有负面影响吗？我希望不是这样，因为我们正在preparedstment的setFetchSize（）上获取1000块

下面是代码片段

Connection connection = null;
        PreparedStatement statement = null;
        ResultSet rs = null;
        OutputStream outputStream = null;
        BufferedWriter bufferedWriter = null;
        try
        {
            response.setContentType("application/save");
            response.setHeader("Content-Disposition", "attachment; filename="
                    + link.getFileName());

            outputStream = response.getOutputStream();

            bufferedWriter = new BufferedWriter(new OutputStreamWriter(
                    outputStream));

            connection = dataSource.getConnection();
            statement = connection.prepareStatement(link.getQuery());

            statement.setFetchSize(1000);
            statement.setInt(1, form.getSelectedClientId());

            rs = statement.executeQuery();

            while (rs.next())
            {

                bufferedWriter
                        .write(getCsvRowString(new String[]
                        { rs.getString(1), rs.getString(2), rs.getString(3),
                                rs.getString(4), rs.getString(5),
                                rs.getString(6), rs.getString(7),
                                rs.getString(8), rs.getString(9),
                                rs.getString(10), rs.getString(11),
                                rs.getString(12), rs.getString(13),
                                rs.getString(14), rs.getString(15),
                                rs.getString(16), rs.getString(17),
                                rs.getString(18) }));

            }

        } catch (final Exception e)
        {
            log.error("Error in downloading extracts " + e.getMessage());
            throw e;
        } finally
        {
            if (bufferedWriter != null)
            {
                bufferedWriter.flush();
                bufferedWriter.close();
            }
            if (outputStream != null)
            {
                outputStream.close();
            }

            rs.close();
            statement.close();
            connection.close();
        }

---

可能是古老的MS SQL JDBC驱动程序忽略了

setFetchSize（）

提示（参见此答案）。尝试使用类似于on Horizon的jTDS驱动程序。

可能是古老的MS SQL JDBC驱动程序忽略了

setFetchSize（）

提示（请参见此答案）。尝试像在地平线上一样使用jTDS驱动程序。

非常感谢！！让我看一看，我只是想添加一个更新，这样其他面临类似问题的人将受益。我们必须升级到sqljdbc-3.0.jar。我们使用的上一个版本忽略了setFetchSize（）“提示”。能够获取140万条记录，并使用上面的代码写入文件，而无需占用大量内存！非常感谢艺术！！让我看一看，我只是想添加一个更新，这样其他面临类似问题的人将受益。我们必须升级到sqljdbc-3.0.jar。我们使用的上一个版本忽略了setFetchSize（）“提示”。能够获取140万条记录，并使用上面的代码写入文件，而无需占用大量内存！