使用 s3-dist-cp 时是否可以指定映射器减速器的数量？

Question

我正在尝试使用 s3-distcp 将数据从 EMR 集群复制到 S3。我可以将减速器的数量指定为比默认值更大的值，以加快我的流程吗？

Answer 1

要设置减速器的数量，您可以使用mapreduce.job.reduces类似于以下的属性：

s3-dist-cp -Dmapreduce.job.reduces=10 --src hdfs://path/to/data/ --dest s3://path/to/s3/