Pau*_*son 11 php execution-time
我有一个2000页的网站,我想使用file_get_html()函数和正则表达式遍历每个页面以生成站点地图.
显然,这不能在一个服务器端执行中完成,因为由于最大执行时间,它将耗尽时间.我想它需要执行较小的操作,将进度保存到数据库,然后排队下一个任务.有什么建议？
Wes*_*orp 21
当您运行命令行时,将没有最大执行时间.
set_time_limit(0);如果您的提供商允许操作,您也可以使用此功能.
我不知道你的ip地址是否会被禁止 - 因为这取决于你发送请求的服务器的安全性.
其他方案
您可以获取一个(或几个)页面,并在整个源代码中搜索新的URL.然后,您可以将它们排入数据库中.然后在下一次运行时,处理队列.