HDFS:如何递归列出文件？

Question

你如何通过Java在HDFS中的某个路径下列出所有文件(递归).我浏览了API并注意到了FileSystem.listFiles(Path,boolean),但是当我初始化它时,我的FileSystem实例中看起来不存在该方法.

Answer 1

您可以查看org.apache.hadoop.fs.FsShell.ls(FileStatus, FileSystem, boolean, boolean)您的hadoop版本的源代码- 这是hadoop fs -lsr path从命令行执行a时调用的内容

• 0.20.2-第593行
• 1.0.2 - 第590行

Answer 2

使用-R后跟ls命令递归列出文件/ directorires.

hadoop fs -ls -R Path/Of/File

ls命令的可能属性是

-d :目录列为纯文件.

-h "以人类可读的方式而不是字节数来格式化文件的大小.

-R "递归列出目录的内容.