Moo*_*ker 16 ubuntu wget parallelism
我只找到了 puf(Parallel URL fetcher),但我无法让它从文件中读取 url;就像是
puf < urls.txt
Run Code Online (Sandbox Code Playgroud)
也不起作用。
服务器上安装的操作系统是Ubuntu。
eph*_*ent 27
使用GNU Parallel ,
$ parallel -j ${jobs} wget < urls.txt
或xargs
来自GNU Findutils,
$ xargs -n 1 -P ${jobs} wget < urls.txt
其中${jobs}
是wget
您希望允许同时运行的最大数量(设置-n
为1
在 中的wget
每行获取一次调用urls.txt
)。没有-j
/ -P
,parallel
将一次运行与 CPU 内核一样多的作业(这对于wget
网络 IO 的约束不一定有意义),并且xargs
一次运行一个。
一个不错的功能,parallel
已在xargs
被保持并发运行的作业的输出分离,但如果你不关心这个,xargs
更可能被预先安装。