如何从文件服务器下载文件列表？

Question

我如何从像http://www.apache.org/dist/httpd/binaries/这样的文件服务器下载文件列表？

我想我可以使用 wget 但它会尝试获取所有链接和 html 文件。有没有更好的工具来实现这一点？

Answer 1

您可以指定wget在抓取页面时将下载哪些文件扩展名：

wget -r -A zip,rpm,tar.gz www.site.com/startpage.html

这将执行递归搜索，只下载文件与.zip，.rpm和.tar.gz扩展。

Answer 2

假设您真的只想要服务器上的文件列表而不获取它们（还）：

%> wget -r -np --spider http://www.apache.org/dist/httpd/binaries/ 2>&1 | awk -f filter.awk | 优衣库

而“filter.awk”看起来像这样

/^--.*-- http:\/\/.*[^\/]$/ { u=$3; }
/^Length: [[:digit:]]+/ { 打印 u; }

那么你可能需要过滤掉一些条目，比如

"http://www.apache.org/dist/httpd/binaries/?C=N;O=D"