如何查找（和删除）重复文件

Question

我有一个很大的音乐收藏，里面有一些重复的。有什么办法可以找到重复的文件。至少通过进行散列并查看两个文件是否具有相同的散列。

除了扩展名外，还可以找到同名文件的奖励积分 - 我想我有一些 mp3 和 ogg 格式版本的歌曲。

如果这是最简单的方法，我很高兴使用命令行。

Answer 1

我用fdupes这个。它是一个命令行程序，可以使用sudo apt install fdupes. 你可以这样称呼它fdupes -r /dir/ect/ory，它会打印出一个欺骗列表。fdupes 还有一个简单的 Homepage和一个Wikipedia article，其中列出了更多的程序。

Answer 2

FSlint有一个 GUI 和一些其他功能。他们的常见问题解答中对重复检查算法的解释：

1. exclude files with unique lengths
2. handle files that are hardlinked to each other
3. exclude files with unique md5(first_4k(file))
4. exclude files with unique md5(whole file)
5. exclude files with unique sha1(whole file) (in case of md5 collisions).

文件

Answer 3

的列表programs/scripts/bash-solutions，可以找到重复项并在 下运行nix：

1. dupedit：一次比较多个文件而不进行校验和。当多个路径指向同一个文件时，避免将文件与其自身进行比较。
2. dupmerge : 在各种平台上运行（Win32/64 和 Cygwin、*nix、Linux 等）
3. dupseek : Perl 算法优化以减少读取。
4. fdf：基于 Perl/c 并在大多数平台（Win32、*nix 和其他平台）上运行。使用 MD5、SHA1 和其他校验和算法
5. freedups：shell 脚本，用于搜索您指定的目录。当它找到两个相同的文件时，它会将它们硬链接在一起。现在这两个或多个文件仍然存在于各自的目录中，但磁盘上只存储了一份数据；两个目录项都指向相同的数据块。
6. fslint：具有命令行界面和 GUI。
7. liten：纯 Python 重复数据删除命令行工具和库，使用 md5 校验和和新颖的字节比较算法。（Linux、Mac OS X、*nix、Windows）
8. liten2 : 对原始 Liten 的重写，仍然是一个命令行工具，但使用 SHA-1 校验和具有更快的交互模式（Linux、Mac OS X、*nix）
9. rdfind：根据输入参数（要扫描的目录）的顺序对重复项进行排名的少数几个之一，以免在“原始/众所周知”来源（如果给出多个目录）中删除。使用 MD5 或 SHA1。
10. rmlint：具有命令行界面的快速查找器和许多用于查找其他 lint 的选项（使用 MD5），因为 18.04 LTS 有一个rmlint-gui带有 GUI的包（可以由rmlint --gui名为Shredder Duplicate Finder 的桌面启动器启动或从其启动）
11. ua : Unix/Linux 命令行工具，设计用于 find （等）。
12. findrepe：免费的基于 Java 的命令行工具，专为高效搜索重复文件而设计，它可以在 zip 和 jar 中搜索。（GNU/Linux、Mac OS X、*nix、Windows）
13. fdupe：一个用 Perl 编写的小脚本。快速高效地完成工作。1
14. ssdeep：使用上下文触发的分段散列识别几乎相同的文件

Answer 4

如果您的重复数据删除任务与音乐相关，请首先运行picard应用程序以正确识别和标记您的音乐（以便您找到重复的 .mp3/.ogg 文件，即使它们的名称不正确）。请注意，picard 也可作为 Ubuntu 软件包使用。

完成后，musicip_puid您可以根据标签轻松找到所有重复的歌曲。

Answer 5

执行此工作的另一个脚本是rmdupe。从作者的页面：

rmdupe 使用标准的 linux 命令在指定的文件夹中搜索重复文件，无论文件名或扩展名如何。在删除重复的候选对象之前，它们会逐字节进行比较。rmdupe 还可以针对一个或多个参考文件夹检查重复项，可以删除文件而不是删除它们，允许自定义删除命令，并且可以将其搜索限制为指定大小的文件。rmdupe 包括一个模拟模式，它报告给定命令将执行的操作，而无需实际删除任何文件。