迭代学说集合会占用太多内存

Question

我有一个symfony2命令,它可以浏览我的大数据库并将数据导出到XML文件中.

这个操作需要太多的内存,我可以看到我的PHP进程在运行时开始占用50 MB,然后100Mb ..并且在5分钟后它是700MB并且在它完成之前它需要~800MB这显然是巨大的.

如何优化Doctrine使用的内存量？

下面是我的代码的样子:

  // Gets 4000 entities
  $entities1 = $this->doctrine->getRepository('MyBundle:Entity1')->findAll();


    foreach ($entities1 as $entity1)
    {
         // 200 entities under every entity1
         foreach ($entity1->getCollection1() as $c)
         {
               // write into an xml
         }
    }

有没有办法优化这个/做得更好？

Answer 1

我建议使用学说"批处理"(http://doctrine-orm.readthedocs.org/en/latest/reference/batch-processing.html).

它允许您处理大量数据并限制使用的php内存.所以在你的情况下,这将是这样的:

  $em = $this->doctrine->getManager();
  // Gets 4000 entities
  $queryEntities1 = $em->createQuery('select e from MyBundle:Entity1');
  $iterableEntities1 = $queryEntities1->iterate();

    foreach ($iterableEntities1 as $row)
    {
         $entity1 = $row[0];
         // 200 entities under every entity1
         foreach ($entity1->getCollection1() as $c)
         {
               // write into an xml
         }
         $em->detach($entity1);
    }

未经测试但您可能需要为您的收藏添加另一个查询!但是这样你的内存将在每个实体之后被清理(不确定它在你的情况下是否足够,但你仍然可以尝试为集合的foreach添加另一个可迭代的请求).