hdfs将多个文件复制到同一目标目录

R. *_*ter 4 hadoop copy cp subdirectory hdfs

我了解到,如果要将多个文件从一个hadoop文件夹复制到另一个hadoop文件夹,则可以更好地创建一个包含大量组件的大型"hdfs dfs -cp"语句,而不是创建多个hdfs dfs -cp语句.使用'更好',我的意思是它将改善复制文件所需的总时间:一个命令比几个单独的-cp命令相继运行更快.

当我这样做,我的目标目录对于我要复制的所有文件都是一样的时,我会收到警告.

我正在执行以下命令:

hdfs dfs -cp -f /path1/file1 /pathx/target /path2/file2 /pathx/target /path3/file3 /pathx/target
Run Code Online (Sandbox Code Playgroud)

执行后,我收到以下警告:

cp: `/pathx/target' to `/pathx/target/target': is a subdirectory of itself
Run Code Online (Sandbox Code Playgroud)

虽然我得到了这个奇怪的警告,但副本本身也应该成功.这是一个错误还是我错过了什么?

小智 11

尝试使用以下语法:

hadoop fs -cp /path1/file1 /path2/file2 path3/file3 /pathx/target
Run Code Online (Sandbox Code Playgroud)

  • 一旦我达到15分,我会投票给你答案 (2认同)