删除重复行而不进行排序

Question

我在Python中有一个实用程序脚本:

#!/usr/bin/env python
import sys
unique_lines = []
duplicate_lines = []
for line in sys.stdin:
  if line in unique_lines:
    duplicate_lines.append(line)
  else:
    unique_lines.append(line)
    sys.stdout.write(line)
# optionally do something with duplicate_lines

这个简单的功能(uniq无需先排序,稳定排序)必须作为简单的UNIX实用程序提供,不是吗？也许是管道中过滤器的组合？

询问的原因:在我无法从任何地方执行python的系统上需要此功能

Answer 1

UNIX Bash Scripting博客建议:

awk '!x[$0]++'

这个命令告诉awk要打印哪些行.变量$0保存一行的全部内容,方括号是数组访问.因此,对于文件的每一行,x如果该节点的内容!先前未设置(),则会增加该数组的节点并打印该行.

Answer 2

一个迟到的答案 - 我刚刚碰到了这个的副本 - 但也许值得补充......

@ 1_CR答案背后的原则可以更简洁地编写,cat -n而不是awk添加行号:

cat -n file_name | sort -uk2 | sort -nk1 | cut -f2-

• 使用cat -n前面加上行号
• 使用sort -u删除重复数据
• 用于sort -n按前缀编号排序
• 使用cut去除行号

Answer 3

uq

uq是一个用 Rust 编写的小工具。它执行唯一性过滤而无需先对输入进行排序，因此可以应用于连续流。

与投票最高的 awk 解决方案和其他基于 shell 的解决方案相比，该工具有两个优点：

1. uq使用哈希值记住行的出现，因此当行很长时，它不会使用太多内存。
2. uq可以通过设置要存储的条目数量限制来保持内存使用恒定（当达到限制时，有一个标志来控制是覆盖还是死亡），而当条目awk太多时，该解决方案可能会遇到 OOM线。

Answer 4

迈克尔霍夫曼的解决方案是短暂而甜蜜的.对于较大的文件,Schwartzian变换方法涉及使用awk后跟多轮sort和uniq添加索引字段涉及较少的内存开销.以下代码段在bash中有效

awk '{print(NR"\t"$0)}' file_name | sort -t$'\t' -k2,2 | uniq --skip-fields 1 | sort -k1,1 -t$'\t' | cut -f2 -d$'\t'

Answer 5

要从2个文件中删除重复项：

awk '!a[$0]++' file1.csv file2.csv