我想在python中执行curl命令.
通常,我只需要在终端输入命令并按回车键.但是,我不知道它在python中是如何工作的.
该命令如下所示:
curl -d @request.json --header "Content-Type: application/json" https://www.googleapis.com/qpxExpress/v1/trips/search?key=mykeyhere
有一个request.json文件要发送以获得响应.
我经常搜索并感到困惑.我试着写一段代码,虽然我无法完全理解.它没用.
import pycurl
import StringIO
response = StringIO.StringIO()
c = pycurl.Curl()
c.setopt(c.URL, 'https://www.googleapis.com/qpxExpress/v1/trips/search?key=mykeyhere')
c.setopt(c.WRITEFUNCTION, response.write)
c.setopt(c.HTTPHEADER, ['Content-Type: application/json','Accept-Charset: UTF-8'])
c.setopt(c.POSTFIELDS, '@request.json')
c.perform()
c.close()
print response.getvalue()
response.close()
错误信息是'Parse Error'.任何人都可以告诉我如何修复它？或者如何正确地从服务器获得响应？
请求库如何与PyCurl性能明智地进行比较？
我的理解是Requests是urllib的python包装器,而PyCurl是libcurl的python包装器,它是本机的,所以PyCurl应该会获得更好的性能,但不确定多少.
我找不到任何比较基准.
我目前正在开展一个学校项目,其目标是使用Natural Language Toolkit软件包分析诈骗邮件.基本上我愿意做的是比较不同年份的诈骗并试图找到一个趋势 - 他们的结构如何随着时间而变化.我发现了一个诈骗数据库:http://www.419scam.org/emails/ 我想用python下载链接的内容,但我被卡住了.我的代码到目前为止:
from BeautifulSoup import BeautifulSoup
import urllib2, re
html = urllib2.urlopen('http://www.419scam.org/emails/').read()
soup = BeautifulSoup(html)
links = soup.findAll('a')
links2 = soup.findAll(href=re.compile("index"))
print links2
所以我可以获取链接,但我不知道如何下载内容.有任何想法吗？非常感谢!
是否有任何python爬虫可以从网页中提取所有数据:http://www.bestbuy.com/site/HTC+-+One+S+4G+Mobile+Phone+-+Gradient+Blue+%28T-Mobile %29/4980512.p？id = 1218587135819&skuId = 4980512&contract_desc = 在此页面中,客户评论有两个页面1和2.我想抓取他的网址并获取两个网页的内容.这是否可以使用python爬虫.
python crawler也支持所有现代GET/POST技术