如何将AWS Access Key ID和Secret Access Key指定为amazon s3n URL的一部分

Question

我将输入和输出文件夹作为参数传递给来自网页的mapreduce字数统计程序.

得到以下错误:

HTTP状态500 - 请求处理失败; 嵌套异常是java.lang.IllegalArgumentException:必须将AWS Access Key ID和Secret Access Key指定为s3n URL的用户名或密码,或者通过设置fs.s3n.awsAccessKeyId或fs.s3n.awsSecretAccessKey属性(分别).

Answer 1

该文档的格式为:http://wiki.apache.org/hadoop/AmazonS3

 s3n://ID:SECRET@BUCKET/Path

Answer 2

我建议你用这个:

hadoop distcp \
-Dfs.s3n.awsAccessKeyId=<your_access_id> \ 
-Dfs.s3n.awsSecretAccessKey=<your_access_key> \
s3n://origin hdfs://destinations

它还可以作为键中斜杠出现的变通方法.必须按以下顺序提供具有id和访问密钥的参数:在disctcp之后和origin之前

Answer 3

作为Amazon s3n网址的一部分传递AWS凭证通常不建议使用,安全性明智.特别是如果将该代码推送到保存服务的存储库(如github).理想情况下,将您的凭据设置在conf/core-site.xml中:

<configuration>
  <property>
    <name>fs.s3n.awsAccessKeyId</name>
    <value>XXXXXX</value>
  </property>

  <property>
    <name>fs.s3n.awsSecretAccessKey</name>
    <value>XXXXXX</value>
  </property>
</configuration>

或者在您的机器上重新安装awscli.

pip install awscli