有并行wget吗？类似于 fping 但仅用于下载的东西？

Question

我只找到了 puf（Parallel URL fetcher），但我无法让它从文件中读取 url；就像是

 puf < urls.txt

也不起作用。

服务器上安装的操作系统是Ubuntu。

Answer 1

使用GNU Parallel ,

$ parallel -j ${jobs} wget < urls.txt

或xargs来自GNU Findutils，

$ xargs -n 1 -P ${jobs} wget < urls.txt

其中${jobs}是wget您希望允许同时运行的最大数量（设置-n为1在 中的wget每行获取一次调用urls.txt）。没有-j/ -P，parallel将一次运行与 CPU 内核一样多的作业（这对于wget网络 IO 的约束不一定有意义），并且xargs一次运行一个。

一个不错的功能，parallel已在xargs被保持并发运行的作业的输出分离，但如果你不关心这个，xargs更可能被预先安装。

Answer 2

aria2 就是这样做的。

http://sourceforge.net/apps/trac/aria2/wiki/UsageExample#Downloadfileslistedinafileconcurrently

示例：aria2c http://example.org/mylinux.iso