小编Kre*_*ref的帖子

cURL - 如果页面自上次获取后发生了变化,如何获取页面?

我有一个每天抓取页面的脚本,我只想在内容更改时才获取它,这样脚本运行得更快,流量也会减少.

我的想法是首先获取标题并比较内容长度,以便如果它不同我们获取整个文档,但它不是太精确,因为网站可能有动态部分,每次都会使内容长度不同.

还有其他方式,比如使用某种DNS或其他方式吗?

php curl caching web-scraping

7
推荐指数
1
解决办法
905
查看次数

标签 统计

caching ×1

curl ×1

php ×1

web-scraping ×1