如何使用Hibernate尽快插入数据

Question

我读取文件并从中创建一个Object并存储到postgresql数据库.我的文件有100,000个文件,我从一个文件中读取并拆分并最终存储到数据库.我无法创建List<>和存储所有文档,List<>因为我的RAM很少.我读写数据库的代码如下.但是我的JVM堆填充并且无法继续存储更多文档.如何有效地读取文件和存储到数据库.

public void readFile() {
    StringBuilder wholeDocument = new StringBuilder();
    try {
        bufferedReader = new BufferedReader(new FileReader(files));
        String line;
        int count = 0;
        while ((line = bufferedReader.readLine()) != null) {
            if (line.contains("<page>")) {
                wholeDocument.append(line);
                while ((line = bufferedReader.readLine()) != null) {
                    wholeDocument = wholeDocument.append("\n" + line);
                    if (line.contains("</page>")) {
                        System.out.println(count++);
                        addBodyToDatabase(wholeDocument.toString());

                        wholeDocument.setLength(0);
                        break;
                    }
                }
            }
        }
        wikiParser.commit();
    } catch (FileNotFoundException e) {
        e.printStackTrace();
    } catch (IOException e) {
        e.printStackTrace();
    } finally {
        try {
            bufferedReader.close();
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
}

public void addBodyToDatabase(String wholeContent) {
    Page page = new Page(new Timestamp(System.currentTimeMillis()),
            wholeContent);
    database.addPageToDatabase(page);
}

public static int counter = 1;

public void addPageToDatabase(Page page) {
    session.save(page);
    if (counter % 3000 == 0) {
        commit();
    }
    counter++;
}

Answer 1

首先,您应该在这里应用fork-join方法.

主任务解析文件并将最多100个项目的批次发送到ExecutorService.本ExecutorService应具有的工作线程数,等于可用的数据库连接的数量.如果你有4个CPU内核,那么假设数据库可以采用8个并发连接,而​​无需进行太多的上下文切换.

然后,您应该配置连接池 DataSource并使minSize等于maxSize并等于8.尝试使用HikariCP或ViburDBCP进行连接池.

然后,您需要配置JDBC批处理.如果你使用MySQL,IDENTITY生成器将禁用沐浴.如果您使用的是支持序列的数据库,请确保您还使用增强的标识符生成器(它们是Hibernate 5.x中的默认选项).

这样,实体插入过程被并行化并且与主解析线程分离.主线程应该等待ExecutorService在关闭之前完成所有任务的处理.

Answer 2

我用@RookieGuy 的答案。 stackoverflow.com/questions/14581865/hibernate-commit-and-flush

我用

session.flush();
session.clear();

最后读取所有文档并将其存储到数据库中

tx.commit();
session.close();

并改变

wholeDocument = wholeDocument.append("\n" + line);

到

wholeDocument.append("\n" + line);