加载Java实体时内存不足

Question

我有一个可怕的问题,希望有一个非常简单的答案.当我执行基本操作时,我的内存不足

如果我有这样的代码:

MyEntity myEntity;
for (Object id: someIdList) {
   myEntity = find(id); 
   // do something basic with myEntity
}

而find()方法是一个标准的EntityManager相关方法:

public MyEntity find(Object id) {
    return em.find(mycorp.ejb.entity.MyEntity.class, id);
}

这段代码工作了几周,如果数据库中的项目较少,则可以正常工作.我面临的结果是:

java.lang.OutOfMemoryError:超出了GC开销限制

异常来自oracle toplink调用一些oracle jdbc方法.

循环存在是因为EJBQL(例如"将MyEntity中的选择对象(o)作为o")会在有大量记录时使应用程序服务器过载.

Answer 1

这段代码工作了几周,如果数据库中的项目较少,则可以正常工作.我面临的结果是:java.lang.OutOfMemoryError: GC overhead limit exceeded

这里没什么好奇怪的.加载的实体em.find()被放置并保存在持久化上下文(在内存中)以跟踪更改,因此如果您在没有预防措施的情况下批量加载过多的内容,您将只是爆炸内存并获取OOME.

如果你真的需要做一些与所有的实体,您需要调用flush()第一推所有更改到数据库,然后clear()清除持久性上下文和定期释放内存:

int i = 0;
for (Object id: someReallyBigIdList) {
    myEntity = find(id); 
    // do something basic with myEntity
    if ( i % 20 == 0 ) { //20, same as the JDBC batch size
        //flush a batch of DML operations and release memory:
        em.flush();
        em.clear();
    }
    i++;
}

调用clear()会导致所有托管实体分离.对未刷新到数据库的实体所做的更改将不会保留.因此flush()首先需要改变.