小编Rom*_*sky的帖子

scrapy-splash返回自己的标题,而不是网站的原始标题

我使用scrapy-splash来构建我的蜘蛛.现在我需要的是维护会话,所以我使用scrapy.downloadermiddlewares.cookies.CookiesMiddleware并处理set-cookie标头.我知道它处理s​​et-cookie标头,因为我设置了COOKIES_DEBUG = True,这导致CookeMiddleware关于set-cookie标头的打印输出.

问题是:当我还在图片中添加Splash时,set-cookie打印输出消失,实际上我得到的响应标题是{'Date':['Sun,2016年9月25日12:09:55 GMT'],' Content-Type':['text/html; charset = utf-8'],'Server':['TwistedWeb/16.1.1']}这与使用TwistedWeb的splash渲染引擎有关.

是否有任何指令告诉飞溅也给我原始的响应标题?

python scrapy scrapy-splash splash-js-render

5
推荐指数
1
解决办法
1242
查看次数

标签 统计

python ×1

scrapy ×1

scrapy-splash ×1

splash-js-render ×1