在hadoop中查看gzip压缩文件内容

Question

如何在hdfs中解压缩并查看压缩文件的几行.以下命令显示压缩数据的最后几行

hadoop fs -tail /myfolder/part-r-00024.gz

有没有办法可以使用-text命令并将输出传递给tail命令？我尝试了这个,但这不起作用.

hadoop fs -text /myfolder/part-r-00024.gz > hadoop fs -tail /myfolder/

Answer 1

以下将显示指定的行数而不解压缩整个文件:

hadoop fs -cat /hdfs_location/part-00000.gz | zcat | head -n 20

以下将分页文件,也不首先解压缩整个文件:

hadoop fs -cat /hdfs_location/part-00000.gz | zmore