使用ResultSet时mysql内存(RAM)使用量增加了吗？

Question

我使用MySQL和Java来选择大约50000条记录.奇怪的是,当我使用ResultSet和next()方法读取数据时,我看到我的java应用程序的RAM使用量在获取期间增加了.它从255 MB开始,增加到379 MB!我正在使用的代码在这里:

try {
    Class.forName("com.mysql.jdbc.Driver");
    Connection conn = DriverManager.getConnection("jdbc:mysql://localhost/#mysql50#crawler - used in report?" + "user=root&password=&useUnicode=true&characterEncoding=UTF-8");
    Statement st = conn.createStatement();
    ResultSet rsDBReader = st.executeQuery("SELECT Id, Content FROM DocsArchive");
    while (rsDBReader.next()) {
        int docId = rsDBReader.getInt(1);
        String content = rsDBReader.getString(2);
        . . .
        }
    rsDBReader.close();
    st.close();
    conn.close();
} catch (Exception e) {
    System.out.println("Exception in reading data: " + e);
}

我确信内存使用是针对ResultSet的,而不是程序的其他部分.在这个程序中,我不需要更新记录,所以我想在完成工作后删除每条记录.我的猜测是,已读取的记录不会被删除,程序也不会释放内存.所以我使用了一些技巧来避免这种情况,例如使用以下代码:

Statement st = conn.createStatement( ResultSet.TYPE_FORWARD_ONLY, ResultSet.CONCUR_READ_ONLY, ResultSet.CLOSE_CURSORS_AT_COMMIT);

st.setFetchSize(500);
rsDBReader.setFetchSize(500);

但他们并没有改变任何事情.:(

所以我需要一些方法来删除(释放)已读取的行的内存.

另一个有趣的一点是,即使在完成函数并关闭ResultSet,Statement和Connection,并转到程序的其他部分之后,程序内存使用量仍然没有减少! 谢谢

Answer 1

使用Statement.setFetchSize()向驱动程序提供一个提示,它应该ResultSet为包含一定数量行的那些流进行流式处理.据我所知,MySQL Connector-J驱动程序确实理解了提示和流ResultSets(但在MySQL的情况下,这一次仅限于一行).

默认值为0,将确保Connector-J驱动程序将获取完整ResultSet而不流式传输.这就是为什么你需要提供一个显式值 - 在MySQL的情况下为Integer.MIN_VALUE.

该声明:

Statement st = conn.createStatement( ResultSet.TYPE_FORWARD_ONLY, ResultSet.CONCUR_READ_ONLY, ResultSet.CLOSE_CURSORS_AT_COMMIT);

不会导致流式传输ResultSet(至少不是自己的流量).它只是确保结果集不是"可滚动的"(即只能在正向运行)而不是"可更新",并且当事务提交时底层游标将被关闭.

如MySQL的JDBC实现说明中所述,上述语句(不带ResultSet.CLOSE_CURSORS_AT_COMMIT参数)必须与Statement.setFetchSize(Integer.MIN_VALUE)流的调用一起调用,以便逐行进行.此类情景中涉及的相关警告也已记录在案.

请注意,在MySQL文档中提到的示例中未指定游标的可保持性.如果您需要的值与提供的值不同Connection.getHoldability(),那么此建议可能不适用.

Answer 2

我建议限制您在查询中检索的行数。50000 行已经很多了，那么为什么不使用一个循环来每次获取 1000 行呢？

您可以使用该limit语句来实现此目的，如此处所述。对于正在处理的数据量，最好始终保持务实的态度。您当前的选择今天可能会返回 50000 行，但如果明天它会增加到 100 万行怎么办？你的应用程序将会窒息。因此，请逐步进行处理。