多个wget -ra网站同时进行？

Question

任何带选项的命令/ wget？

对于多线程下载一个站点递归和同时？

Answer 1

我找到了一个不错的解决方

阅读原文http://www.linuxquestions.org/questions/linux-networking-3/wget-multi-threaded-downloading-457375/

wget -r -np -N [url] &
wget -r -np -N [url] &
wget -r -np -N [url] &
wget -r -np -N [url] &

复制多次你认为适合下载的进程.这并不像一个正确的多线程应用程序那么优雅,但它只需要少量的头脑就可以完成工作.这里的关键是"-N"开关.这意味着只有在文件比磁盘上的文件更新时才传输文件.这将(主要)阻止每个进程下载已经下载的不同进程的同一文件,但跳过该文件并下载其他进程未下载的进程.它使用时间戳作为执行此操作的方式,因此略有开销.

它对我很有用,可以节省很多时间.没有太多的进程,因为这可能会使网站的连接饱和,并勾选所有者.最多保持4左右.但是,该数量仅受两端CPU和网络带宽的限制.

Answer 2

好吧，您始终可以运行 的多个实例wget，不是吗？

例子：

wget -r http://somesite.example.org/ &
wget -r http://othersite.example.net/ &

该语法适用于任何类 Unix 环境（例如 Linux 或 MacOS）；不知道如何在 Windows 中执行此操作。

Wget 本身不支持多线程操作 - 至少，手册页及其网站都没有提及这一点。无论如何，由于 wget 支持 HTTP keepalive，因此瓶颈通常是连接的带宽，而不是同时下载的数量。