通过网址列表下载网页？

Question

我目前正在使用sitesucker来拉下客户网站的所有文件。它获取了我的大部分页面，但问题是我们拥有的一些页面并不是通过链接真正访问的，而是通过邮政编码查找器访问的。有没有办法可以使用这个工具或其他工具甚至给它一个 URL 列表，它会根据需要为我下载文件，保持文件夹结构就像站点吸盘一样。

如果这是问这个问题的糟糕地方，我很抱歉:)。

Answer 1

您可以使用 wget：使用您需要下载的 url 列表创建一个纯文件（例如 pippo.txt）：

pippo.txt：

http://url1.zip
http://url2.htm
http://url3/
ftp://url4/file.zip

然后使用 wget 下载 url 列表：

cd /some/folder/
wget -i /path/to/pippo.txt

完毕

wget for linux 是一个基础工具https://www.gnu.org/software/wget/ 对于 windows 有一个 bin 端口：http : //users.ugent.be/~bpuype/wget/