在 Hadoop (HDFS) 中获取文件的最后 5 行

Ale*_*lex 3 hadoop

我的 Hadoop 集群中有几个文件(在 HDFS 上)。我想查看每个文件的最后 5 行。是否有一个简单的命令可以这样做?

Chi*_*idu 6

如果您想查看 HDFS 中文件的最后 5 行(而不是更多或更少),可以使用以下命令,但效率不高:

hadoop fs -cat /your/file/with/path | tail -5

这是 hadoop 中更有效的命令,但它返回数据的最后千字节,而不是用户指定的行数:

hadoop fs -tail /your/file/with/path

这是对hadoop tail命令的引用:http : //hadoop.apache.org/docs/r0.18.3/hdfs_shell.html#tail