如何将一个Hadoop群集中的数据复制到另一个Hadoop群集？

Question

我是Apache Hadoop的新手。我们有一个Hadoop集群[1]，其中填充了一些数据。还有另一个Hadoop集群[2]里没有数据。将数据从[1]复制到[2]的最简单，最优选的方法是什么？

Answer 1

您可以使用DistCp（分布式副本），它是一种工具，可让您在群集之间或与其他文件系统（例如S3或FTP服务器）之间复制数据。

您必须指定从外部群集复制数据的绝对路径：hdfs：// OtherClusterNN：port / path

该工具启动MapReduce作业，该作业可从Hadoop FileSystem库中可用的任何类型的源（如HDFS，FTP，S3，AZURE（最新版本等））并行复制数据。

要从不同版本的hadoop复制数据，而要使用HDFS协议，则必须使用其中之一的HftpFileSystem。