如何从列表和多线程中获取？

Question

我一直在使用它从我存储在文本文件中的列表中获取大量 URL：

wget -i websites.txt

但是，在我看来，一次下载一个文件，然后继续下载下一个文件。我可能是错的，如果是这样，请随时让我知道。

但是如果我想让它同时下载 10 或 20 个文件呢？这可以用一个简单的 wget 命令来完成还是需要更复杂的东西？

顺便说一下，这些都是正在下载的极小文件（~80kb）。下载数百万似乎需要永远......

Answer 1

您可以使用并行命令：

parallel -a websites.txt --jobs 10 wget

with-a从文件中读取每一行，--jobs说明有多少并行运行，并将wget以文件中的下一行作为后缀。