PHP脚本应该花费6个小时但在30分钟后停止

Question

我已经制作了一个基本的网络抓取工具来从网站上抓取信息,我估计它应该花费大约6个小时(将页面数乘以获取信息所需的时间),但是经过大约30-40分钟的循环我的功能,它停止工作,我只有我想要的一小部分信息.当它正在工作时,页面看起来像正在加载并且它在屏幕上输出它所在的位置,但是当它停止时,页面停止加载并且输入停止显示.

无论如何,我可以保持页面加载,所以我不必每30分钟再次启动它？

编辑:这是我的代码

function scrape_ingredients($recipe_url, $recipe_title, $recipe_number, $this_count) {
    $page   = file_get_contents($recipe_url);

    $edited = str_replace("<h2 class=\"ingredients\">", "<h2 class=\"ingredients\"><h2>", $page);

    $split  = explode("<h2 class=\"ingredients\">", $edited);
    preg_match("/<div[^>]*class=\"module-content\">(.*?)<\\/div>/si", $split[1], $ingredients);

    $ingred = str_replace("<ul>", "", $ingredients[1]);
    $ingred = str_replace("</ul>", "", $ingred);
    $ingred = str_replace("<li>", "", $ingred);
    $ingred = str_replace("</li>", ", ", $ingred);

    echo $ingred;
    mysql_query("INSERT INTO food_tags (title, link, ingredients) VALUES ('$recipe_title', '$recipe_url', '$ingred')");

    echo "<br><br>Recipes indexed: $recipe_number<hr><br><br>";

}

$get_urls   = mysql_query("SELECT * FROM food_recipes WHERE id>3091");
while($row  = mysql_fetch_array($get_urls)) {
    $count++;
    $thiscount++;
    scrape_ingredients($row['link'], $row['title'], $count, $thiscount);

    sleep(1);
}

Answer 1

尝试添加

set_time_limit(0);

在脚本的顶部.

Answer 2

你的php.ini的set_time_limit选项值是多少？必须将其设置为0才能使脚本能够无限地工​​作