从HDFS读取文件与本地目录

Question

我是hadoop的初学者。我有两个怀疑

1）如何访问存储在hdfs中的文件？它是否与在java.io中使用FileReader并提供本地路径相同，还是其他？

2）我创建了一个文件夹，在其中我已复制要存储在hdfs中的文件和mapreduce程序的jar文件。当我在任何目录中运行命令时

${HADOOP_HOME}/bin/hadoop dfs -ls

它只显示当前目录中的所有文件。那是否意味着没有我明确添加就添加了所有文件？

Answer 1

是的，几乎是一样的。阅读这篇文章以从 HDFS 读取文件。
您应该记住 HDFS 与本地文件系统不同。您hadoop dfs访问HDFS，而不是本地文件系统。因此，hadoop dfs -ls /path/in/HDFS显示的是目录的内容/path/in/HDFS，而不是本地的内容。这就是为什么无论您从哪里运行它，它都是一样的。

如果您想从 HDFS“上传”/“下载”文件，您应该使用以下命令：

hadoop dfs -copyFromLocal /local/path /path/in/HDFS和

hadoop dfs -copyToLocal /path/in/HDFS /local/path，分别。