从 CSV 中删除一行重复的 Bash 命令/脚本

Question

我合并了很多 CSV 文件。但是，有重复，但整行没有重复。我确实有一列要用作搜索重复项的条件。如果整列中的该列中有重复项，则删除列中包含重复项的行，直到在该列中拥有所有唯一值。

有谁知道在 Bash、sed 或 awk 中完成此任务的最佳方法？

Answer 1

awk -F, '!seen[$1]++'

$1是第一列，酌情更改；您可以使用以逗号 ( [$1,$3])分隔的多列，或$0用于整行。