使用MySQL流式传输大型结果集

Question

我正在开发一个使用大型MySQL表的spring应用程序.当加载大表时,我得到一个OutOfMemoryException,因为驱动程序试图将整个表加载到应用程序内存中.

我试过用

statement.setFetchSize(Integer.MIN_VALUE);

但是我打开的每个ResultSet都会挂起close(); 在线查找我发现这是因为它在关闭ResultSet之前尝试加载任何未读的行,但事实并非如此:

ResultSet existingRecords = getTableData(tablename);
try {
    while (existingRecords.next()) {
        // ...
    }
} finally {
    existingRecords.close(); // this line is hanging, and there was no exception in the try clause
}

挂起也发生在小表(3行)上,如果我不关闭RecordSet(发生在一个方法中)然后connection.close()挂起.

---

堆栈跟踪挂起:

SocketInputStream.socketRead0(FileDescriptor,byte [],int,int,int)行:不可用[native method]
SocketInputStream.read(byte [],int,int)行:129
ReadAheadInputStream.fill(int)行:113
ReadAheadInputStream. readFromUnderlyingStreamIfNecessary(byte [],int,int)行:160
ReadAheadInputStream.read(byte [],int,int)行:188
MysqlIO.readFully(InputStream,byte [],int,int)行:2428 MysqlIO.reuseAndReadPacket(Buffer ,int)行:2882
MysqlIO.reuseAndReadPacket(Buffer)行:2871
MysqlIO.checkErrorPacket(int)行:3414
MysqlIO.checkErrorPacket()行:910
MysqlIO.nextRow(Field [],int,boolean,int,boolean,boolean, boolean,Buffer)行:1405
RowDataDynamic.nextRecord()行:413
RowDataDynamic.next()行:392 RowDataDynamic.close()行:170
JDBC4ResultSet(ResultSetImpl).realClose(boolean)行:7473 JDBC4ResultSet(ResultSetImpl).close( )line:881 DelegatingResultSet.close()行:152
DelegatingResultSet.close()行:152
DelegatingPreparedStatement(DelegatingStatement).clo se()行:163
(这是我的类)Database.close()行:84

Answer 1

仅设置提取大小不是正确的方法.该的javadoc中Statement#setFetchSize()已经规定如下:

为JDBC驱动程序提供有关应从数据库中提取的行数的提示

驱动程序实际上可以自由应用或忽略提示.一些驱动程序忽略它,一些驱动程序直接应用它,一些驱动程序需要更多参数 MySQL JDBC驱动程序属于最后一类.如果检查MySQL JDBC驱动程序文档,您将看到以下信息(向下滚动约2/3直到标题ResultSet):

要启用此功能,您需要以下列方式创建Statement实例:

stmt = conn.createStatement(java.sql.ResultSet.TYPE_FORWARD_ONLY, java.sql.ResultSet.CONCUR_READ_ONLY);
stmt.setFetchSize(Integer.MIN_VALUE);

请阅读文档的整个部分,它也描述了这种方法的注意事项.这是一个相关的引用:

这种方法有一些警告.您必须先读取结果集中的所有行(或关闭它),然后才能在连接上发出任何其他查询,否则将抛出异常.

(......)

如果该语句在事务的范围内,则在事务完成时释放锁(这意味着该语句需要首先完成).与大多数其他数据库一样,只有在读取语句中的所有结果或关闭语句的活动结果集之后,语句才会完成.

如果这不能修复OutOfMemoryError(不Exception),则问题可能是您将所有数据存储在Java内存中,而不是在数据进入后立即处理它.这可能需要对代码进行更多更改,也许完全重写.我之前已经回答了类似的问题在这里.

Answer 2

不要关闭你ResultSet的两次.

显然,当关闭Statement它时会尝试关闭相应的ResultSet,正如您在堆栈跟踪中的这两行中看到的那样:

DelegatingResultSet.close()行:152
DelegatingPreparedStatement(DelegatingStatement).close()行:163

我原以为挂了ResultSet.close()但实际上是在Statement.close()哪个电话中ResultSet.close().由于ResultSet已经关闭,它只是挂了.

我们已经取代所有ResultSet.close()以results.getStatement().close()除去所有Statement.close()s和现在的问题解决了.