我不是在问如何在 hadoop 中为文件夹/文件设置复制因子。我知道以下命令对现有文件和文件夹完美无缺。
hadoop fs -setrep -R -w 3 <folder-path>
Run Code Online (Sandbox Code Playgroud)
我在问,在从本地复制数据时,如何设置复制因子,而不是默认值(在我的场景中为 4)。我正在运行以下命令,
hadoop fs -copyFromLocal <src> <dest>
Run Code Online (Sandbox Code Playgroud)
当我运行上述命令时,它会将数据从复制因子复制src到dest路径中,复制因子为 4。但我想1在复制数据时创建复制因子,而不是在复制完成后。基本上我想要这样的东西,
hadoop fs -setrep -R 1 -copyFromLocal <src> <dest>
Run Code Online (Sandbox Code Playgroud)
我试过了,但没有用。那么,可以做到吗?或者我先用复制因子 4 复制数据,然后运行setrep命令?
根据这篇文章和这篇文章(都问不同的问题),这个命令似乎有效:
hadoop fs -D dfs.replication=1 -copyFromLocal <src> <dest>
Run Code Online (Sandbox Code Playgroud)
在-D选项的意思是“用于给定属性的实用价值。”
| 归档时间: |
|
| 查看次数: |
2277 次 |
| 最近记录: |