使用PowerShell删除重复的字符串

Question

我有文本文件:

1 2 4 5 6 7
1 3 5 6 7 8
1 2 3 4 5 6
1 2 4 5 6 7

这里的第一行和最后一行是相似的.我有很多双线文件.我需要删除所有dublicate.

Answer 1

所有这些看起来都很复杂.它很简单:

gc $filename | sort | get-unique > $output

使用实际文件名而不是变量:

gc test.txt| sort | get-unique > unique.txt

Answer 2

要获得独特的线条：

PS > Get-Content test.txt | Select-Object -Unique
1 2 4 5 6 7
1 3 5 6 7 8
1 2 3 4 5 6

删除重复项

PS >  Get-Content test.txt | group -noelement | `
      where {$_.count -eq 1} | select -expand name

1 3 5 6 7 8
1 2 3 4 5 6

Answer 3

尝试这样的事情：

$a = @{} # declare an arraylist type
gc .\mytextfile.txt | % { if (!$a.Contains($_)) { $a.add($_)}} | out-null

$a #now contains no duplicate lines

将 $a 的内容设置为 mytextfile.txt：

$a | out-file .\mytextfile.txt