强制Python Scrapy不对URL进行编码

Question

其中有一些网址[]就像

http://www.website.com/CN.html?value_ids[]=33&value_ids[]=5007

但是当我尝试使用Scrapy抓取此URL时,会向此URL发出请求

http://www.website.com/CN.html?value_ids%5B%5D=33&value_ids%5B%5D=5007

如何强制scrapy不要urlenccode我的网址？

Answer 1

创建Request对象时 scrapy 应用一些 url 编码方法。要恢复这些，您可以使用自定义中间件并根据您的需要更改 url。

你可以使用Downloader Middleware这样的：

class MyCustomDownloaderMiddleware(object):

    def process_request(self, request, spider):
        request._url = request.url.replace("%5B", "[", 2)
        request._url = request.url.replace("%5D", "]", 2)

不要忘记像这样“激活”中间件settings.py：

DOWNLOADER_MIDDLEWARES = {
    'so.middlewares.MyCustomDownloaderMiddleware': 900,
}

我的项目被命名so，文件夹中有一个文件middlewares.py. 您需要根据您的环境进行调整。