在文件中查找重复的行并计算每行复制的时间长度？

Question

假设我有一个类似于以下的文件:

123 
123 
234 
234 
123 
345

我想找出'123'重复多少次,重复'234'多少次等等.理想情况下,输出结果如下:

123  3 
234  2 
345  1

Answer 1

假设每行有一个数字:

sort <file> | uniq -c

您可以--count在GNU版本中使用更详细的标志,例如,在Linux上:

sort <file> | uniq --count

Answer 2

这将仅打印重复行,计数:

sort FILE | uniq -cd

或者,使用GNU长选项(在Linux上):

sort FILE | uniq --count --repeated

在BSD和OSX上,你必须使用grep来过滤掉唯一的行:

sort FILE | uniq -c | grep -v '^ *1 '

对于给定的示例,结果将是:

  3 123
  2 234

如果要打印所有行的计数,包括仅出现一次的行:

sort FILE | uniq -c

或者,使用GNU长选项(在Linux上):

sort FILE | uniq --count

对于给定的输入,输出为:

  3 123
  2 234
  1 345

为了对顶部最频繁的行进行排序,您可以执行以下操作(以获得所有结果):

sort FILE | uniq -c | sort -nr

或者,为了获得重复的行,最常见的是:

sort FILE | uniq -cd | sort -nr

在OSX和BSD上,最后一个成为:

sort FILE | uniq -c | grep -v '^ *1 ' | sort -nr

Answer 3

要查找和计算多个文件中的重复行,可以尝试以下命令:

sort <files> | uniq -c | sort -nr

要么:

cat <files> | sort | uniq -c | sort -nr

Answer 4

通过awk:

awk '{dups[$1]++} END{for (num in dups) {print num,dups[num]}}' data

在awk 'dups[$1]++'命令中,变量$1保存column1的全部内容,方括号是数组访问.因此,对于文件中每行的第1列,data命名数组的节点dups递增.

最后,我们dups使用num变量循环遍历数组并首先打印保存的数字,然后打印重复值的数量dups[num].

请注意,您的输入文件在某些​​行的末尾有空格,如果您清除它们,您可以使用$0代替$1上面的命令:)

Answer 5

要查找重复计数，请使用以下命令：

sort filename | uniq -c | awk '{print $2, $1}'

Answer 6

在使用"Windows PowerShell"的Windows中,我使用下面提到的命令来实现此目的

Get-Content .\file.txt | Group-Object | Select Name, Count

我们也可以使用where-object Cmdlet来过滤结果

Get-Content .\file.txt | Group-Object | Where-Object { $_.Count -gt 1 } | Select Name, Count

Answer 7

假设您可以访问标准的Unix shell和/或cygwin环境:

tr -s ' ' '\n' < yourfile | sort | uniq -d -c
       ^--space char

基本上:将所有空格字符转换为换行符,然后对转换后的输出进行排序,并将其输入到uniq并计算重复行.