小编葛明洋*_*葛明洋的帖子

我正在使用scrapy从网站下载一些文章以及文章中的图像.

有关该方案的一些信息:

• 文章来自主域(jandan.net)
• 文章中的图像来自其他网站.(例如tankr.net)
• 主域具有访问频率限制,因此我必须设置download_delay为避免<403>错误
• 下载的图片 scrapy.contrib.pipeline.images.ImagesPipeline
• 似乎图像下载也受到download_delay设置的限制

当我必须限制主域的下载速度时,如何加快图像下载速度？