JOOQ 从大表中获取数据：良好实践

Question

我有一个外部 api，一个用于下载，另一个用于从 db 表 [postgresql] 上传数据。桌子相当大。随着时间的推移，我们观察到缓慢的服务器继续占用内存但并没有删除太多，并且它抛出错误并退出 [有时 linux 关闭它]。我检查了内存转储，但无法找出与我的代码相关的任何内容。我不使用任何本地缓存或类似的东西。但今天我得到了这个——

java.lang.OutOfMemoryError: GC overhead limit exceeded
        at java.sql.Timestamp.toString(Timestamp.java:350)
        at java.lang.String.valueOf(String.java:2994)
        at org.jooq.impl.AbstractParam.name(AbstractParam.java:107)
        at org.jooq.impl.AbstractParam.<init>(AbstractParam.java:81)
        at org.jooq.impl.AbstractParam.<init>(AbstractParam.java:77)
        at org.jooq.impl.Val.<init>(Val.java:63)
        at org.jooq.impl.DSL.val(DSL.java:15157)
        at org.jooq.impl.Tools.field(Tools.java:1092)
        at org.jooq.impl.Tools.fields(Tools.java:1226)
        at org.jooq.impl.BatchSingle.executePrepared(BatchSingle.java:231)
        at org.jooq.impl.BatchSingle.execute(BatchSingle.java:182)
        at org.jooq.impl.BatchCRUD.executePrepared(BatchCRUD.java:159)
        at org.jooq.impl.BatchCRUD.execute(BatchCRUD.java:100)

对于获取，我使用普通fetch函数，将数据转储到数据库中，我使用 JOOQbatchInsert和batchUpdate方法。JOOQ 是否有任何好的做法来处理大量数据？我错过了什么吗？

Answer 1

无论fetch()和batchInsert()/batchUpdate()将缓冲您的内容，即你的结果和/或绑定变量。使用 jOOQ 时不推荐这种方法。让我们分别看一下这两个操作：

大读取

对于大量读取，您应该避免，fetch()因为这将从您的数据库中获取所有记录并将它们存储在内存中，然后再使用它们。在大多数情况下，这是比保持打开的游标/资源（JDBC 的方式）更好的方法，但在结果很大的情况下，这是令人望而却步的。相反，您应该使用fetchLazy()or fetchStream()：

// Using fetchLazy():
try (Cursor<Record> cursor = query.fetchLazy()) {
    ...
}

// Using fetchStream():
try (Stream<Record> stream = query.fetchStream()) {
    ...
}

不要忘记使用 try-with-resources 来确保所有资源（例如ResultSet和 ）PreparedStatement在您完成时关闭。

请注意，还有ResultQuery.fetchSize()，它允许指定 JDBC 提取大小，以防止 PostgreSQL JDBC 驱动程序也缓冲太多行。

大写

您不应该在任何数据库中一次性写入大量插入内容。除了您可能遇到的客户端内存问题之外，还存在与不断增长的 UNDO/REDO 日志相关的服务器端问题风险。理想情况下，您应该通过微调将您的写入分成小块：

• 批量大小
• 批量大小
• 提交大小

jOOQ 知道Loader导入 CSV/JSON/array 数据的API 并负责上述微调。它记录在这里：

http://www.jooq.org/doc/latest/manual/sql-execution/importing