如何用笔记本执行scrapy shell"URL"

Question

我想要scrapy

并且有scrapy shell"URL"命令,使用URL中的响应对象执行控制台ipython.

但我想用笔记本做那件事.

有没有办法用笔记本执行scrapy shell,

或者如何手动在ipython中获取URL的相同响应对象？

Answer 1

偶然发现了这个未回答的问题,寻找相同的答案.我现在最接近的是:

import requests
from scrapy.http import TextResponse

r = requests.get('http://stackoverflow.com/')
response = TextResponse(r.url, body=r.text, encoding='utf-8')

然后,您可以使用xpath()等常用方法调试响应.