相关疑难解决方法(0)

我经常将 VM 映像从管理程序传输到存档服务器以进行长期存储。

我使用 netcat 进行传输，因为它比 scp、rsync 等更快。

hypervisor$ cat foo.box | nc <archive IP> 1234

archive$ nc -l -p 1234 > foo.box

文件传输完成后，我通过md5sum在目标和源上运行来验证没有损坏。

不幸的是，对大文件运行 md5sum 可能需要很长时间。如何更快地比较两个大文件的完整性？

更新：

• 我的传输很少被中断，所以重启能力不是问题。
• 通过NC转账一般需要3-4小时，然后40分钟才能拿到md5sum。
• 在这种情况下，散列的安全性不是问题。

我在一个目录中下载了很多图像。
下载器重命名已经存在的文件。
我还手动重命名了一些文件。

a.jpg
b.jpg
b(2).jpg
hello.jpg      <-- manually renamed `b(3).jpg`
c.jpg
c(2).jpg
world.jpg      <-- manually renamed `d.jpg`
d(2).jpg
d(3).jpg

如何删除重复的？结果应该是：

a.jpg
b.jpg
c.jpg
world.jpg

注意：名称无关紧要。我只想要 uniq 文件。