是否可以将 Scrapy 蜘蛛配置为忽略访问过的 URL 中的 URL 参数,以便在已经访问www.example.com/page?p=value2过的情况下不会被访问www.example.com/page?p=value1?
www.example.com/page?p=value2
www.example.com/page?p=value1
python scrapy scrapy-spider
python ×1
scrapy ×1
scrapy-spider ×1