小编jpl*_*ssn的帖子

配置spider忽略url参数,这样scrapy就不会两次抓取同一个页面

是否可以将 Scrapy 蜘蛛配置为忽略访问过的 URL 中的 URL 参数,以便在已经访问www.example.com/page?p=value2过的情况下不会被访问www.example.com/page?p=value1

python scrapy scrapy-spider

2
推荐指数
1
解决办法
640
查看次数

标签 统计

python ×1

scrapy ×1

scrapy-spider ×1