并行获取文件

Question

为了下载文件,我正在创建一个urlopen对象(urllib2类)并以块的形式读取它.

我想连接几次服务器并在六个不同的会话中下载文件.这样做,下载速度应该更快.许多下载管理器都具有此功能.

我想在每个会话中指定我想要下载的文件部分,并以某种方式同时处理所有会话.我不确定我怎么能做到这一点.

Answer 1

至于运行并行请求,您可能希望使用urllib3或请求.

我花了一些时间来列出类似的问题:

寻找[python] +download +concurrent给出这些有趣的:

• 并发下载 - Python
• 在Python中发送100,000个HTTP请求的最快方法是什么？
• 用于以并行方式下载多个文件的库或工具
• 同时下载多个页面？
• Python:url内容的简单异步下载？
• Python,gevent,urllib2.urlopen.read(),下载加速器
• Python/Urllib2/Threading:单个下载线程比多个下载线程更快.为什么？
• 刮取域列表的登录页面
• 一个干净,轻量级的替代Python的扭曲？

寻找[python] +http +concurrent给出这些:

• Python:如何在一瞬间进行多个HTTP POST查询？
• 在启用cookie的站点上使用urlretrieve的多线程Web scraper

寻找[python] +urllib2 +slow:

• Python urllib2.open很慢,需要更好的方法来读取几个网址
• Python 2.6:使用urllib2进行并行解析
• 如何在python中使用urllib2加速获取页面？
• 线程化HTTP请求(带代理)

寻找[python] +download +many:

• Python,多线程,获取网页,下载网页
• 下载使用队列扭曲的文件
• Python:类似于map线程的东西
• 用于网络抓取的旋转代理
• 有人知道我可以使用基于Python的优秀网络爬虫吗？

Answer 2

听起来您想使用可用的HTTP Range风格之一。

编辑更新链接以指向 w3.org 存储的 RFC