Hadoop distcp 到 HTTP 代理后面的 S3

Question

我正在尝试distcp将一些文件从 HDFS 复制到 Amazon s3。我的 Hadoop 集群通过 HTTP 代理连接到互联网，但我无法弄清楚在连接到 s3 时如何指定它。我目前遇到以下问题：

httpclient.HttpMethodDirector: I/O exception (org.apache.commons.httpclient.ConnectTimeoutException) caught when processing request: The host did not accept the connection within timeout of 60000 ms

这表明它正在尝试直接连接到亚马逊。如何distcp使用代理主机？

Answer 1

在文件 /etc/hadoop/conf/jets3t.properties 中设置这些属性

httpclient.proxy-host = proxy.domain.com
httpclient.proxy-port = 12345

如果这在任何地方都有记录，我找不到它。但处理它的代码位于 RestS3Service 类中。您需要将此文件分发到所有节点，以便它可以进行分布式副本。