我想知道,你如何关闭与Requests(python-requests.org)的连接?
有了httplib它HTTPConnection.close(),但我如何对请求做同样的事情?
代码如下:
r = requests.post("https://stream.twitter.com/1/statuses/filter.json", data={'track':toTrack}, auth=('username', 'passwd'))
for line in r.iter_lines():
if line:
self.mongo['db'].tweets.insert(json.loads(line))
Run Code Online (Sandbox Code Playgroud)
提前致谢.
我正在尝试使用Requests模块编写一个简单的Web爬虫程序,我想知道如何禁用它的-default- keep-alive feauture.
我试过用:
s = requests.session()
s.config['keep_alive'] = False
Run Code Online (Sandbox Code Playgroud)
但是,我得到一个错误,说明会话对象没有属性'config',我认为它已经改变了新版本,但我似乎无法在官方文档中找到如何做到这一点.
事实上,当我在特定网站上运行爬虫时,它最多只能获得五个页面,然后无限循环,所以我认为它与保持活动功能有关!
PS:是请求网络爬虫的好模块吗?有更适合的东西吗?
谢谢 !