我有标准的Apache日志文件,大小在500Mb到2GB之间.我需要对它们中的行进行排序(每行以日期yyyy-MM-dd hh:mm:ss开头,因此不需要进行排序处理.
想到的最简单,最明显的事情是
Get-Content unsorted.txt | sort | get-unique > sorted.txt
我猜测(没有尝试过)使用这种方法Get-Content将永远占用我的1GB文件.我不太了解我的方式System.IO.StreamReader,但我很好奇是否可以使用它来组合有效的解决方案？
感谢任何可能有更高效理念的人.
[编辑]
我后来试了这个,花了很长时间; 400MB大约需要10分钟.
WebTrends 分析将无法识别没有带有文件名的标题行的日志文件。我有一堆我必须处理的日志（从今年 1 月开始）没有这条线。有些大小接近 1GB。
如何在开始时将一行文本插入文本文件，但使脚本足够强大以适应大文件？
谢谢大家的见解！