查看hdfs hadoop中的文件内容

Question

可能是一个noob问题,但除了复制到本地和通过unix阅读之外,有没有办法在hdfs中读取文件的内容？

所以现在我正在做的是:

  bin/hadoop dfs -copyToLocal hdfs/path local/path

  nano local/path

我想知道我是否可以直接打开文件到hdfs,而不是在本地复制它然后打开它.

谢谢

Answer 1

我相信hadoop fs -cat <file>应该做的工作.

Answer 2

如果文件大小很大(大多数时候都是这种情况),通过执​​行'cat',您不希望通过抛出文件的全部内容来炸毁终端.相反,使用管道并只获得文件的几行.

要获取文件的前10行,hadoop fs -cat'文件路径'| 头-10

要获取文件的最后5行,请使用hadooop fs -cat'文件路径'| 尾巴-5

Answer 3

如果您使用的是hadoop 2.x，则可以使用

hdfs dfs -cat <file>