我通常使用大约20 Gb的文本文件,我发现自己经常计算给定文件中的行数.
我这样做的方式现在只是cat fname | wc -l,而且需要很长时间.有没有更快的解决方案?
cat fname | wc -l
我在安装了Hadoop的高性能集群中工作.我想知道地图减少方法是否有帮助.
我希望解决方案像一线运行一样简单,就像wc -l解决方案一样,但不确定它是多么可行.
wc -l
有任何想法吗?
linux mapreduce
linux ×1
mapreduce ×1