相关疑难解决方法(0)

计算大文件中的行数

我通常使用大约20 Gb的文本文件,我发现自己经常计算给定文件中的行数.

我这样做的方式现在只是cat fname | wc -l,而且需要很长时间.有没有更快的解决方案?

我在安装了Hadoop的高性能集群中工作.我想知道地图减少方法是否有帮助.

我希望解决方案像一线运行一样简单,就像wc -l解决方案一样,但不确定它是多么可行.

有任何想法吗?

linux mapreduce

64
推荐指数
6
解决办法
10万
查看次数

标签 统计

linux ×1

mapreduce ×1