如何删除远程计算机上的authorized_keys文件中的重复行

Question

有时我们的 linux 机器上有一个巨大的文件 /root/.ssh/authorized_keys，这是因为文件中有很多重复的行，如下所示

ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABAQC6yaJuzX2QldXj9jI/IYbJQuYDTUf232IbkefUDG4sZxkkScbiqC4skJs9bC58iovYxMVLB7YijIHDri7ONfKzixooSfpf8x18JdmSTkEl7WVTPm3TI/fPVP7DDOoBbqpTeZzS6cFVRMceve3ecFp/Z
D02RfLy6FHu3Y9o55g4Hlm+IgRq+QflsSoY3khZhaxofyzYIchg9NI1RzEZJQEBIMlQZMd+bRiBoAtzqI2BtKd5YmnBmxGHhnZLswSeo7hz+2cAPe+Ng37V91cSuygQJyKf20f1DmhSKHvHEDU3EXDPbjO8H0LNz6OEhsjwUj+G5dcJA04wY0Y1+qCfRz
kR root@server1.com
ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABAQC6yaJuzX2QldXj9jI/IYbJQuYDTUf232IbkefUDG4sZxkkScbiqC4skJs9bC58iovYxMVLB7YijIHDri7ONfKzixooSfpf8x18JdmSTkEl7WVTPm3TI/fPVP7DDOoBbqpTeZzS6cFVRMceve3ecFp/Z
D02RfLy6FHu3Y9o55g4Hlm+IgRq+QflsSoY3khZhaxofyzYIchg9NI1RzEZJQEBIMlQZMd+bRiBoAtzqI2BtKd5YmnBmxGHhnZLswSeo7hz+2cAPe+Ng37V91cSuygQJyKf20f1DmhSKHvHEDU3EXDPbjO8H0LNz6OEhsjwUj+G5dcJA04wY0Y1+qCfRz
kR root@server1.com
ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABAQC6yaJuzX2QldXj9jI/IYbJQuYDTUf232IbkefUDG4sZxkkScbiqC4skJs9bC58iovYxMVLB7YijIHDri7ONfKzixooSfpf8x18JdmSTkEl7WVTPm3TI/fPVP7DDOoBbqpTeZzS6cFVRMceve3ecFp/Z
D02RfLy6FHu3Y9o55g4Hlm+IgRq+QflsSoY3khZhaxofyzYIchg9NI1RzEZJQEBIMlQZMd+bRiBoAtzqI2BtKd5YmnBmxGHhnZLswSeo7hz+2cAPe+Ng37V91cSuygQJyKf20f1DmhSKHvHEDU3EXDPbjO8H0LNz6OEhsjwUj+G5dcJA04wY0Y1+qCfRz
kR root@server1.com

删除这些重复行以便只出现唯一行的最佳方法是什么？

我们需要删除远程计算机上 VIA ssh 的重复行

Answer 1

ssh可以通过客户端在远程服务器上运行命令

ssh hostname '
    cd /root/.ssh; 
    cp -a authorized_keys authorized_keys.orig;
    sort -u authorized_keys -o authorized_keys
'

为了便于阅读，将其编写为多行代码。整个事情也可以在一行上（在这种情况下，无需将其括在 中''，在这种情况下）。

.orig如果绝对不需要备份 ( )，只需删除该cp ...行即可。

这样做显然会改变行的顺序。如果这是一个问题，您可以运行一个脚本或一行，它可以保留顺序。

如果还有更多工作要做，在远程服务器上运行单行的一种方法是

ssh hostname << 'CMD'
cd /root/.ssh/
perl -i.orig -wne'$uniq{$_} = 1; }{ print for keys %uniq' authorized_keys
CMD

该}{语法启动一个END块，该块在处理完所有行后运行。如果肯定不需要备份，请删除.orig，因此仅保留开关（以就地-i更改文件）。

上面仍然只是删除重复项，但可以用''可能需要的其他 Perl 代码替换或修改下面的代码。例如，要保留唯一行之间的顺序，可以使用此 Perl 命令行程序（“one-liner”）而不是上面的程序

perl -MList::Util=uniq -i.orig -wne'
    push @lines, $_; END { print for uniq @lines }' authorized_keys

这里我们使用uniq核心模块List::Util，它从输入列表中返回唯一元素。它保留（可能）重复元素中的第一个元素并保持顺序。我认为authorized_keys文件不能太大而无法全部读入内存。

有关单行语句的更多信息，请参阅perlrun 中的“命令开关” 。

请注意，上面使用的“ heredoc ”语法中的关键字位于引号 ( 'CMD') 下，以抑制 shell 的变量扩展。

这里涉及可能更复杂的需求的示例使用 Perl，因为它是问题中最初标记的语言之一，但当然可以使用任何其他语言。