如何根据多列删除重复值

Question

我有一个文件 tmp.log ，其中包含以下字段

description ID  valueA valueB valueC
xxx         x    1       1     1
yyy         y    3       100    23
zzz         z    0       0      0
aaa         a    4       4      4

我想删除所有“值”列中具有相同值的数据点

description ID  valueA valueB valueC
yyy         y    3       100    23

我在用

cat tmp.log | tail -n+2 | awk '!a[$3$4$5]++'

但它仍然打印冗余值，为什么这是错误的以及如何更正？

Answer 1

删除第 3、4、5 列相同的行：

awk '!($3==$4&&$4==$5)' data_file

删除与其他行具有相同 3,4,5 列的行：

awk '!seen[$3,$4,$5]++' data_file

更新 n 列

删除第 3, 4, ...n 列相同的行：

awk 'v=0;{for(i=4;i<=NF;i++) {if($i!=$3) {v=1; break;}}} v' data_file

• v=0将每条记录的 v 重置为 0
• for(i=4;i<=NF;i++) {if($i!=$3) {v=1; break;}}从第四列循环到最后一列，将 v 设置为 1，如果与第三列不同则中断
• v如果 v 不为 0，则打印。

删除与其他行具有相同 3,4,...n 列的行：

awk '(l=$0) && ($1=$2=""); !seen[$0]++ {print l}' data_file

• (l=$0) && ($1=$2="")备份原始行，清空第一列和第二列，重建$0。该表达式的计算结果始终为 false，因此不会打印任何内容。请注意，&&优先于=，这就是您需要()它们的原因；
• !seen[$0]++ {print l}通常的seen技巧，如果以前没有见过，则打印原始行。