yef*_*iak 5 hadoop amazon-s3 amazon-emr elastic-map-reduce
我有一个Elastic Map Reduce作业,它在S3中编写一些文件,我想连接所有文件以生成一个唯一的文本文件.
目前我手动将包含所有文件的文件夹复制到我们的HDFS(hadoop fs copyFromLocal),然后我运行hadoop fs -getmerge和hadoop fs copyToLocal来获取文件.
无论如何在S3上直接使用hadoop fs？
小智 1
事实上，这个关于 getmerge 的回应是不正确的。getmerge 需要本地目的地，并且不适用于 S3。IOException如果您尝试并使用 -getmerge: Wrong FS: 响应，它会抛出一个错误。
用法：
hadoop fs [generic options] -getmerge [-nl] <src> <localdst>