gma*_*ian 195
使用aria2:
aria2c -x 16 [url]
# |
# |
# |
# ----> the number of connections
我喜欢它 !!
tho*_*han 104
Wget不支持多套接字连接,以加快文件下载速度.
我认为我们可以做得比gmarian回答好一点.
正确的方法是使用aria2.
aria2c -x 16 -s 16 [url]
# | |
# | |
# | |
# ---------> the number of connections here
Nik*_*rev 47
既然没有提到GNU parallel,那么让我给出另一种方式:
cat url.list | parallel -j 8 wget -O {#}.html {}
SMU*_*hah 39
我发现(可能) 一个解决方案
在从一个服务器下载几千个日志文件到下一个服务器的过程中,我突然需要在BSD中进行一些严格的多线程下载,最好是使用Wget,因为这是我能想到的最简单的处理方式.有点环顾四周带我到这个小金块:
Run Code Online (Sandbox Code Playgroud)wget -r -np -N [url] & wget -r -np -N [url] & wget -r -np -N [url] & wget -r -np -N [url]只需重复
wget -r -np -N [url]你需要的多个线程...现在给出这个并不漂亮,并且肯定有更好的方法来做到这一点但如果你想要快速和肮脏的东西它应该做的伎俩...
注:该选项-N使得wget下载只有"新"的文件,这意味着它不会覆盖或重新下载文件,除非在服务器上的时间戳的变化.
Lor*_*oh. 17
另一个可以做到这一点的程序是axel.
axel -n <NUMBER_OF_CONNECTIONS> URL
roc*_*oot 16
一个新的(但尚未发布的)工具是Mget.它已经有很多来自Wget的选项,并且附带了一个库,可以让您轻松地将(递归)下载嵌入到您自己的应用程序中.
回答你的问题:
mget --num-threads=4 [url]
UPDATE
Mget现在开发为Wget2,修复了许多错误和更多功能(例如HTTP/2支持).
--num-threads现在--max-threads.
小智 13
我强烈建议使用httrack.
例如: httrack -v -w http://example.com/
默认情况下,它将执行8个同时连接的镜像.Httrack有很多选择.看一看.
正如其他海报所提到的,我建议你看看aria2.从版本1.16.1的Ubuntu手册页:
aria2是一个用于下载文件的实用程序.支持的协议是HTTP(S),FTP,BitTorrent和Metalink.aria2可以从多个源/协议下载文件,并尝试利用您的最大下载带宽.它支持同时从HTTP(S)/ FTP和BitTorrent下载文件,而从HTTP(S)/ FTP下载的数据上传到BitTorrent swarm.使用Metalink的块校验和,aria2在下载BitTorrent等文件时自动验证数据块.
您可以使用该-x标志指定每台服务器的最大连接数(默认值:1):
aria2c -x 16 [url]
如果多个位置提供相同的文件,您可以选择从所有位置下载.使用该-j标志指定每个静态URI的最大并行下载数(默认值:5).
aria2c -j 5 [url] [url2]
有关更多信息,请查看http://aria2.sourceforge.net/.对于使用信息,手册页实际上是描述性的,并在底部有一个带有用法示例的部分.可以在http://aria2.sourceforge.net/manual/en/html/README.html找到在线版本.
使用
aria2c -x 10 -i websites.txt >/dev/null 2>/dev/null &
在websites.txt中每行放置1个url，例如：
https://www.example.com/1.mp4
https://www.example.com/2.mp4
https://www.example.com/3.mp4
https://www.example.com/4.mp4
https://www.example.com/5.mp4