我想使用scrapy来获取img的链接,所以我在scrapy的爬虫中编写下面的程序:
hxs.select('//dl[@class="clearfix"]//img/@src/text()').extract()
但是,它无论如何都不起作用.有什么问题吗 ？
我想在不同的域下获取网页,这意味着我必须在命令"scrapy crawl myspider"下使用不同的蜘蛛.但是,由于网页内容不同,我必须使用不同的管道逻辑将数据放入数据库.但对于每个蜘蛛,它们必须遍历settings.py中定义的所有管道.是否有其他优雅的方法为每个蜘蛛使用单独的管道？