相关疑难解决方法(0)

删除部分重复的连续行但保留第一个和最后一个

我有一个带有时间戳和每行六个值的日志文件,我想通过删除具有相同值的连续行(忽略时间戳)并保留每个重复集的第一行和最后一行来减少数据量。最好使用 bash 脚本。它应该是一个魔法sedawk命令组合。

即使我必须多次解析文件,一次读取 3 行并删除中间的一行,也是一个很好的解决方案。

原始文件:

1447790360      99999   99999   20.25   20.25   20.25   20.50
1447790362      20.25   20.25   20.25   20.25   20.25   20.50
1447790365      20.25   20.25   20.25   20.25   20.25   20.50
1447790368      20.25   20.25   20.25   20.25   20.25   20.50
1447790371      20.25   20.25   20.25   20.25   20.25   20.50
1447790374      20.25   20.25   20.25   20.25   20.25   20.50
1447790377      20.25   20.25   20.25   20.25   20.25   20.50
1447790380      20.25   20.25   20.25   20.25   20.25   20.50
1447790383      20.25   20.25   20.25   20.25   20.25   20.50
1447790386      20.25   20.25   20.25   20.25   20.25 …
Run Code Online (Sandbox Code Playgroud)

sed awk text-processing

7
推荐指数
1
解决办法
2290
查看次数

标签 统计

awk ×1

sed ×1

text-processing ×1