使用Scrapy解析站点地图

Question

我希望能够使用scrapy来抓取站点地图上的链接.我对这个应用程序了解不多,所以我对你能提供的任何链接/信息/文档感兴趣.

谢谢

Answer 1

为此目的,刚刚在Scrapy主干中添加了一个新的通用蜘蛛.它将在下一个版本上发布(Scrapy 0.14)

• 代码在这里:http://snippets.scrapy.org/snippets/20/
• 这里的文档:http://readthedocs.org/docs/scrapy/en/latest/topics/spiders.html#sitemapspider