使用wget从右侧Apache Mirror下载文件

Question

要使用特定示例,我想下载Hadoop 2.7.2的二进制版本.该网站指向http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.7.2/hadoop-2.7.2.tar.gz,然后按位置指向最近的镜像.对我来说是http://xenia.sote.hu/ftp/mirrors/www.apache.org/hadoop/core/hadoop-2.7.2/hadoop-2.7.2.tar.gz.

我想在shell脚本中实际下载它(特定于Dockerfile).我宁愿使用与位置无关的URL进行下载,这样如果有人在世界的另一端运行脚本,他们就不会使用相同的镜像.

是否有我可以使用的URL wget或curl动态重定向到最近的镜像？这个特定文件的URL是什么？

Answer 1

closer.lua的源代码实际上表明,可以使用action和filename查询参数在自动选择的镜像上生成重定向到所请求的文件,而不是通常的HTML镜像选择页面.

因此,您可以通过以下URL直接下载文件:https://www.apache.org/dyn/mirrors/mirrors.cgi？action = download &filename = hadoop/common/hadoop- 2.7.2/hadoop-2.7.2.tar .gz:

GET /dyn/mirrors/mirrors.cgi?action=download&filename=hadoop/common/hadoop-2.7.2/hadoop-2.7.2.tar.gz HTTP/1.1
Accept: */*
Accept-Encoding: gzip, deflate
Connection: keep-alive
Host: www.apache.org



HTTP/1.1 302 Found
Cache-Control: max-age=3600
Connection: Keep-Alive
Content-Length: 0
Date: Mon, 13 Mar 2017 18:08:00 GMT
Expires: Mon, 13 Mar 2017 19:08:00 GMT
Keep-Alive: timeout=30, max=100
Location: http://ftp-stud.hs-esslingen.de/pub/Mirrors/ftp.apache.org/dist/hadoop/common/hadoop-2.7.2/hadoop-2.7.2.tar.gz
Server: Apache/2.4.7 (Ubuntu)