如何从文件中删除重复行？

Question

文件，

TABLE1  
-------  
1234

TABLE1  
-------  
9555  

TABLE1  
-------  
87676  

TABLE1
-------  
2344

我想要的输出像

TABLE1  
-------  
1234
9555  
87676
2344

Answer 1

这是一个衬垫，使用sed和awk：

sed '/^$/d' 文件名 | awk '!a[$1]++'

grep和的组合awk：

grep 。文件名 | awk '!a[$1]++'

正如 @ cas所建议的，您awk也可以用单个命令来完成此操作。

awk '!x[$1]++ && ! /^[[:空白:]]*$/' 文件名