从文件/ grep中删除重复的行

Sur*_*rya 3 unix sorting shell scripting

我想删除所有第二列05408736032相同的所有行

0009300 | 05408736032 | 89 | 01 | 001 | 0 | 0 | 0 | 1 | NNNNNNYNNNNNNNNN | ASDF | 0009367 | 05408736032 | 89 | 01 | 001 | 0 | 0 | 0 | 1 | NNNNNNYNNNNNNNNN | adff |

这些线不连续.它可以删除所有的线条.我不必保持其中一个.

对不起,我的unix fu非常弱用于非使用:).

moo*_*dow 9

如果所有输入数据的格式如上 - 即固定大小的字段 - 并且输出中的行顺序无关紧要,那么sort --key=8,19 --unique应该这样做.如果订单确实重要,但重复的行总是连续的,uniq -s 8 -w 11将会起作用.如果字段不是固定宽度但重复行总是连续的,则Pax的awk脚本将起作用.在最常见的情况下,我们可能会看到一些稍微过于复杂的内容.