小编Nic*_*man的帖子

我正在构建一个蜘蛛,它将遍历各个站点并对其进行数据挖掘.

由于我需要单独获取每个页面,这可能需要很长时间(可能是100页).我已经将set_time_limit设置为每页2分钟,但似乎apache会在5分钟后杀死脚本,无论如何.

这通常不是问题,因为这将从cron或类似的东西运行,没有这个时间限制.但是我也希望管理员能够通过HTTP接口手动启动提取.

apache在整个持续时间内保持活动并不重要,我将使用AJAX触发一次获取,并在一段时间内使用AJAX进行检查.

我的问题是如何从PHP脚本中启动提取,而不会在调用它的脚本终止时终止提取.

也许我可以使用system('script.php&'),但我不确定它是否能解决问题.还有其他想法吗？

我正在使用PHP与Symfony框架(使用Doctrine作为我的ORM)来构建一个爬行某些网站的蜘蛛.

我的问题是以下代码生成内存泄漏:

$q = $this -> createQuery('Product p');

if($store) {
    $q
        -> andWhere('p.store_id = ?', $store -> getId())
        -> limit(1);
}

$q -> andWhere('p.name = ?', $name);

$data = $q -> execute();
$q -> free(true);
$data -> free(true);
return NULL;

此代码放在的子类中Doctrine_Table.如果我注释掉执行部分(当然还有$data -> free(true)),泄漏就会停止.这使我得出结论,这Doctrine_Collection是导致泄漏的原因.