如何仅列出HDFS中的文件名

Question

我想知道是否有任何命令/表达式只能获取hadoop中的文件名.我只需要获取文件名,当我这样做时hadoop fs -ls 会打印整个路径.

我试过下面,但只是想知道是否有更好的方法来做到这一点.

hadoop fs -ls <HDFS_DIR>|cut -d ' ' -f17 

Answer 1

似乎hadoop ls不支持输出文件名的任何选项,甚至只支持最后一列.

如果您想要可靠地获取最后一列,您应该首先将空格转换为单个空格,以便您可以解决最后一列:

hadoop fs -ls | sed '1d;s/  */ /g' | cut -d\  -f8

这将为您提供最后一列,但文件包含整个路径.如果你只想要文件名,你可以使用basename作为@rojomoke建议:

hadoop fs -ls | sed '1d;s/  */ /g' | cut -d\  -f8 | xargs -n 1 basename

我也过滤了第一行说的 Found ?x items

注意:请注意,正如@ felix-frank在注释中指出的那样,上述命令将无法正确保存具有多个连续空格的文件名.因此,Felix提出了一个更正确的解决方案:

hadoop fs -ls /tmp | sed 1d | perl -wlne'print +(split " ",$_,8)[7]'

Answer 2

以下命令仅返回文件名:

hdfs dfs -stat "%n" my/path/*

Answer 3

我希望这可以帮助某人 - 版本2.8.x +(也可用于3) -

hadoop fs -ls  -C  /paths/