imn*_*mns 6 python django scrapy
我刚刚进行了scrapy设置和运行,效果很好,但我有两个(noob)问题.首先我应该说,我对scrapy和蜘蛛网站都是全新的.
你能限制抓取的链接数量吗？我有一个不使用分页的网站,只是在主页上列出了很多链接(我抓了).当我真正需要抓取前10个左右时,我感觉不好抓取所有这些链接.
你如何一次运行多个蜘蛛？现在我正在使用该命令scrapy crawl example.com,但我也有example2.com和example3.com的蜘蛛.我想用一个命令运行我的所有蜘蛛.这可能吗？