按内容跨多个目录查找重复文件

Question

我从互联网上下载了一些与特定主题相关的文件.现在我想检查文件是否有任何重复.问题是文件的名称会有所不同,但内容可能会匹配.

有没有办法实现一些代码,它将遍历多个文件夹并通知哪些文件是重复的？

Answer 1

如果您正在使用linux/*nix系统,您可以使用sha类似的工具sha512sum,因为md5可能会被破坏.

find /path -type f -print0 | xargs -0 sha512sum | awk '($1 in seen){print "duplicate: "$2" and "seen[$1] }(!($1 in  seen)){seen[$1]=$2}' 

如果你想使用Python,一个简单的实现

import hashlib,os
def sha(filename):    
    ''' function to get sha of file '''
    d = hashlib.sha512()
    try:
        d.update(open(filename).read())
    except Exception,e:
        print e
    else:
        return d.hexdigest()
s={}
path=os.path.join("/home","path1")
for r,d,f in os.walk(path):
    for files in f:
        filename=os.path.join(r,files)
        digest=sha(filename)
        if not s.has_key(digest):
            s[digest]=filename
        else:
            print "Duplicates: %s <==> %s " %( filename, s[digest])

如果您认为sha512sum不够,可以使用像diff或filecmp(Python)这样的unix工具