小编Sun*_*nil的帖子

hadoop fs -text vs hadoop fs -cat vs hadoop fs -get

我相信以下所有命令都可用于将hdfs文件复制到本地文件系统.有什么区别/情境利弊.(Hadoop新手在这里).

hadoop fs -text /hdfs_dir/* >> /local_dir/localfile.txt
hadoop fs -cat /hdfs_dir/* >> /local_dir/localfile.txt
hadoop fs -get /hdfs_dir/* >> /local_dir/
Run Code Online (Sandbox Code Playgroud)

我的拇指规则是避免对大文件使用'text'和'cat'.(我用它来复制我的MR作业的输出,在我的用例中通常较小).

hadoop file hdfs

2
推荐指数
1
解决办法
2万
查看次数

标签 统计

file ×1

hadoop ×1

hdfs ×1