我有一个带有时间戳和每行六个值的日志文件,我想通过删除具有相同值的连续行(忽略时间戳)并保留每个重复集的第一行和最后一行来减少数据量。最好使用 bash 脚本。它应该是一个魔法sed
或awk
命令组合。
即使我必须多次解析文件,一次读取 3 行并删除中间的一行,也是一个很好的解决方案。
原始文件:
1447790360 99999 99999 20.25 20.25 20.25 20.50
1447790362 20.25 20.25 20.25 20.25 20.25 20.50
1447790365 20.25 20.25 20.25 20.25 20.25 20.50
1447790368 20.25 20.25 20.25 20.25 20.25 20.50
1447790371 20.25 20.25 20.25 20.25 20.25 20.50
1447790374 20.25 20.25 20.25 20.25 20.25 20.50
1447790377 20.25 20.25 20.25 20.25 20.25 20.50
1447790380 20.25 20.25 20.25 20.25 20.25 20.50
1447790383 20.25 20.25 20.25 20.25 20.25 20.50
1447790386 20.25 20.25 20.25 20.25 20.25 …
Run Code Online (Sandbox Code Playgroud)