如何访问Hadoop HDFS中的文件？

Question

我在我想要在Eclipse中打开的Hadoop HDFS中有一个.jar文件(包含我要修改的Java项目).

当我输入时,hdfs dfs -ls /user/...我可以看到.jar文件在那里 - 但是,当我打开Eclipse并尝试导入它时,我似乎无法在任何地方找到它.我在文件系统中看到一个hadoop/hdfs文件夹,它带我到2个文件夹; namenode和namesecondary - 这些都没有我正在寻找的文件.

有任何想法吗？我被困在这一段时间了.在此先感谢您的帮助.

Answer 1

由于HDFS是虚拟存储，它跨集群分布，因此您只能看到文件系统中的元数据，而看不到实际数据。

尝试将jar文件从HDFS下载到本地文件系统，然后进行所需的修改。

使用其Web UI访问HDFS。打开浏览器，然后输入localhost：50070您可以看到HDFS的Web UI移至右侧的Utility选项卡，然后单击Browse File System，您可以看到HDFS中的文件列表。

请按照以下步骤将文件下载到本地文件系统。

Open Browser-->localhost:50070-->Utilities-->Browse the file system-->Open your required file directory-->Click on the file(a pop up will open)-->Click on download

该文件将下载到本地文件系统中，您可以进行所需的修改。

Answer 2

HDFS文件系统和本地文件系统都不同.

您可以使用以下命令将jar文件从hdfs文件系统复制到本地filesytem中的首选位置:

bin/hadoop fs -copyToLocal locationOfFileInHDFS locationWhereYouWantToCopyFileInYourFileSystem

例如

bin/hadoop fs -copyToLocal file.jar /home/user/file.jar

我希望这可以帮助你.