"sort filename | uniq"不适用于大文件

Question

我可以从小文本文件中删除重复的条目,但不能删除大文本文件.
我有一个4MB的文件.
该文件的开头如下所示:

aa
aah
aahed
aahed
aahing
aahing
aahs
aahs
aal
aalii
aalii
aaliis
aaliis
...

我想删除重复项.
例如,"aahed"出现两次,我只希望它出现一次.

无论我试过什么单线,大名单都不会改变.

如果它输入: sort big_list.txt | uniq |
我看到的少了:

aa
aah
aahed
aahed   <-- didn't get rid of it
aahing
aahing   <-- didn't get rid of it
aahs
aahs   <-- didn't get rid of it
aal
...

但是,如果我从这个文本文件的顶部复制一小部分单词并在小块数据上重新运行命令,那么它就能达到预期效果.

这些程序是否拒绝排序,因为文件太大了？我不认为4MB非常大.它不输出警告或任何东西.

我很快编写了自己的"uniq"程序,它具有相同的行为.它适用于列表的一小部分,但对4MB文本文件没有任何作用.我的问题是什么？

编辑: 这是一个十六进制转储:

00000000  61 61 0a 61 61 68 0a 61  61 68 65 64 0a 61 61 68  |aa.aah.aahed.aah|
00000010  65 64 0d 0a 61 61 68 69  6e 67 0a 61 61 68 69 6e  |ed..aahing.aahin|
00000020  67 0d 0a 61 61 68 73 0a  61 61 68 73 0d 0a 61 61  |g..aahs.aahs..aa|
00000030  6c 0a 61 61 6c 69 69 0a  61 61 6c 69 69 0d 0a 61  |l.aalii.aalii..a|
00000040  61 6c 69 69 73 0a 61 61  6c 69 69 73 0d 0a 61 61  |aliis.aaliis..aa|

---

61 61 68 65 64 0a
a  a  h  e  d  \r

61 61 68 65 64 0d
a  a  h  e  d  \n

解决:不同的行分隔符

Answer 1

的排序(1)命令接受一-u对键的唯一选项.

只是用

 sort -u big_list.txt