如何从hdfs到s3运行加密的distcp？

Question

我喜欢将数据从我们的hadoop集群(内部部署)复制到s3.我可以不加密地做.我也可以使用客户端加密运行s3cmd put.如何使用客户端加密进行distcp？

Answer 1

最新的 Hadoop 版本应该可以使用客户端加密进行传输。

为了安全起见，不要成为您的设置细节的受害者，我只是通过设置如下所示的存储桶策略来确保安全传输，禁止非安全传输。

{
    "Statement":[
        {
            "Action": "s3:*",
            "Effect":"Deny",
            "Principal": "*",
            "Resource":"arn:aws:s3:::bucketname/*",
            "Condition":{
                "Bool":
                { "aws:SecureTransport": false }
            }
        }
    ]
}