从 CSV 文件中删除重复条目

Question

我有一个 [csv] 文件，其中重复打印了重复数据，即打印了两次相同的数据。我试过使用sort 的 uniq bysort myfile.csv | uniq -u但是没有变化myfile.csv，我也试过sudo sort myfile.csv | uniq -u但没有区别。

所以目前我的 csv 文件看起来像这样

a
a
a
b
b
c
c
c
c
c

我想看起来像

a
b
c

Answer 1

myfile.csv没有改变的原因是因为-u选项uniq将只打印唯一的行。在这个文件中，所有的行都是重复的，所以它们不会被打印出来。

然而，更重要的是，输出不会被保存，myfile.csv因为uniq它只会打印到stdout（默认情况下，你的控制台）。

你需要做这样的事情：

$ sort -u myfile.csv -o myfile.csv

选项的意思是：

您应该查看man sort更多信息。