小编Dav*_*son的帖子

我正在尝试使用scrapy爬行网站，但是该网站没有站点地图或页面索引。如何抓取抓取网站的所有页面？

我只需要下载网站的所有页面，而无需提取任何项目。我是否只需要设置“蜘蛛规则”中的所有链接？但是我不知道scrapy是否会以这种方式避免重复的url。