如何`wget`文本文件中的URL列表？

Question

假设我在一个位置有一个包含数百个URL的文本文件,例如

http://url/file_to_download1.gz
http://url/file_to_download2.gz
http://url/file_to_download3.gz
http://url/file_to_download4.gz
http://url/file_to_download5.gz
....

下载每个文件的正确方法是什么wget？我怀疑有一个命令wget -flag -flag text_file.txt

Answer 1

快man wget给我以下内容:

[..]

-i 文件

--input-file = file

从本地或外部文件中读取URL.如果 - 指定为文件,则从标准输入读取URL.(使用./-从字面上命名的文件中读取 - .)

如果使用此函数,则命令行上不需要存在URL.如果命令行和输入文件中都有URL,那么命令行上的URL将是第一个要检索的URL.如果未指定--force-html,则文件应包含一系列URL,每行一个.

[..]

所以: wget -i text_file.txt

Answer 2

尝试:

wget -i text_file.txt

(检查男人wget)

Answer 3

与它并行运行

cat text_file.txt | parallel --gnu "wget {}"

Answer 4

如果您使用的是OpenWrt或使用一些旧版本的 wget 没有给您-i选项：

#!/bin/bash
input="text_file.txt"
while IFS= read -r line
do
  wget $line
done < "$input"

此外，如果您没有wget，则可以使用curl或任何用于下载单个文件的工具。

Answer 5

如果您还想保留原始文件名，请尝试：

wget --content-disposition --trust-server-names -i list_of_urls.txt