获取网络服务器上的文件列表

Question

全部，

我想从服务器上获取完整的 url 文件列表。例如，我想从这里获取所有 TIFF。

http://hyperquad.telascience.org/naipsource/Texas/20100801/ *

我可以使用 wget 下载所有 .tif 文件，但我正在寻找的只是每个文件的完整 URL。

http://hyperquad.telascience.org/naipsource/Texas/20100801/naip10_1m_2597_04_2_20100430.tif http://hyperquad.telascience.org/naipsource/Texas/20100801/naip10_1m_2597_04_3_20100424.tif http://hyperquad.telascience.org/naipsource/德克萨斯州/ 20100801 / naip10_1m_2597_04_4_20100430.tif http://hyperquad.telascience.org/naipsource/Texas/20100801/naip10_1m_2597_05_1_20100430.tif http://hyperquad.telascience.org/naipsource/Texas/20100801/naip10_1m_2597_05_2_20100430.tif

关于如何使用 curl 或 wget 之类的东西将所有这些文件放入列表的任何想法？

亚当

Answer 1

您需要服务器愿意为您提供一个包含列表的页面。这通常是 index.html 或只是要求目录。

http://hyperquad.telascience.org/naipsource/Texas/20100801/

在这种情况下，您似乎很幸运，因此，冒着让网站管理员不高兴的风险，解决方案是使用 wget 的递归选项。将最大递归指定为 1 以使其仅限于该单个目录。