使用 Wget 下载所有文件夹、子文件夹和文件

Question

我一直在使用 Wget，但遇到了一个问题。我有一个站点，站点内有多个文件夹和子文件夹。我需要下载每个文件夹和子文件夹中的所有内容。我已经尝试了几种使用 Wget 的方法，当我检查完成时，我在文件夹中看到的只是一个“索引”文件。我可以单击索引文件，它会将我带到文件，但我需要实际文件。

有没有人有我忽略的 Wget 命令，或者是否有另一个程序我可以用来获取所有这些信息？

站点示例：

www.mysite.com/Pictures/ 在图片目录中，有几个文件夹.....

www.mysite.com/Pictures/Accounting/

www.mysite.com/Pictures/Managers/North America/California/JoeUser.jpg

我需要所有文件、文件夹等.....

Answer 1

我想假设你没有试过这个：

wget -r --no-parent http://www.mysite.com/Pictures/

或检索内容，而不下载“index.html”文件：

wget -r --no-parent --reject "index.html*" http://www.mysite.com/Pictures/

参考：使用 wget 递归获取包含任意文件的目录

Answer 2

我用 wget -rkpN -e robots=off http://www.example.com/

-r 递归的意思

-k意味着转换链接。所以网页上的链接将是 localhost 而不是 example.com/bla

-p 意味着获取所有网页资源，因此获取图像和javascript文件以使网站正常工作。

-N 是检索时间戳，因此如果本地文件比远程网站上的文件新，则跳过它们。

-e是一个标志选项，它需要在那里robots=off工作。

robots=off 意味着忽略机器人文件。

我也有-c这个命令，所以如果他们的连接断开，当我重新运行命令时，它会从它停止的地方继续。我想-N会很顺利-c