有并行wget吗?类似于 fping 但仅用于下载的东西?

Moo*_*ker 16 ubuntu wget parallelism

我只找到了 puf(Parallel URL fetcher),但我无法让它从文件中读取 url;就像是

 puf < urls.txt
Run Code Online (Sandbox Code Playgroud)

也不起作用。

服务器上安装的操作系统是Ubuntu。

eph*_*ent 27

使用GNU Parallel ,

$ parallel -j ${jobs} wget < urls.txt

xargs来自GNU Findutils

$ xargs -n 1 -P ${jobs} wget < urls.txt

其中${jobs}wget您希望允许同时运行的最大数量(设置-n1在 中的wget每行获取一次调用urls.txt)。没有-j/ -Pparallel将一次运行与 CPU 内核一样多的作业(这对于wget网络 IO 的约束不一定有意义),并且xargs一次运行一个。

一个不错的功能,parallel已在xargs被保持并发运行的作业的输出分离,但如果你不关心这个,xargs更可能被预先安装。