小编bip*_*dra的帖子

S3-Dist-Cp 在 EMR5 上失败

我在 emr-5.0.0 版本中遇到 s3-dist-cp 命令的问题。在我的应用程序中,我需要将一些文件从 hdfs 推送到 S3。我正在使用 s3-dist-cp 命令来实现此目的。在 emr-4.2.0 中运行良好。但它在 emr-5.0.0 中不起作用。如果我手动运行该命令,它工作正常。但它在我的应用程序中失败了。我没有对我的应用程序进行任何更改以在 emr-5 上运行它。

如果我需要使用 emr-5,我需要进行任何更改吗?emr-5 中使用 s3-dist-cp 命令的方式有什么变化吗?

我正在使用以下命令:

s3-dist-cp --src /user/hive/warehouse/abc.text --dest s3n://bucket/abc.text
Run Code Online (Sandbox Code Playgroud)

amazon-web-services amazon-emr s3distcp

5
推荐指数
1
解决办法
4879
查看次数

标签 统计

amazon-emr ×1

amazon-web-services ×1

s3distcp ×1