在Python中散列文件

Question

我想让python读取到EOF,这样我就可以得到一个合适的哈希值,无论是sha1还是md5.请帮忙.这是我到目前为止:

import hashlib

inputFile = raw_input("Enter the name of the file:")
openedFile = open(inputFile)
readFile = openedFile.read()

md5Hash = hashlib.md5(readFile)
md5Hashed = md5Hash.hexdigest()

sha1Hash = hashlib.sha1(readFile)
sha1Hashed = sha1Hash.hexdigest()

print "File Name: %s" % inputFile
print "MD5: %r" % md5Hashed
print "SHA1: %r" % sha1Hashed

Answer 1

TL; DR使用缓冲区不使用大量内存.

我相信,当我们考虑使用非常大的文件时的内存含义时,我们会遇到问题的症结.我们不希望这个坏男孩在2千兆字节的文件中流失2千兆字节的文件所以,正如pasztorpisti指出的那样,我们必须处理那些更大的文件!

import sys
import hashlib

# BUF_SIZE is totally arbitrary, change for your app!
BUF_SIZE = 65536  # lets read stuff in 64kb chunks!

md5 = hashlib.md5()
sha1 = hashlib.sha1()

with open(sys.argv[1], 'rb') as f:
    while True:
        data = f.read(BUF_SIZE)
        if not data:
            break
        md5.update(data)
        sha1.update(data)

print("MD5: {0}".format(md5.hexdigest()))
print("SHA1: {0}".format(sha1.hexdigest()))

我们所做的就是在64kb块中更新这个坏男孩的哈希值,因为我们使用了hashlib的方便的花花公子更新方法.通过这种方式,我们使用的内存比2gb要少得多,因为它可以同时散列这个人!

您可以使用以下方法测试:

$ mkfile 2g bigfile
$ python hashes.py bigfile
MD5: a981130cf2b7e09f4686dc273cf7187e
SHA1: 91d50642dd930e9542c39d36f0516d45f4e1af0d
$ md5 bigfile
MD5 (bigfile) = a981130cf2b7e09f4686dc273cf7187e
$ shasum bigfile
91d50642dd930e9542c39d36f0516d45f4e1af0d  bigfile

希望有所帮助!

所有这些都在右侧的链接问题中概述:在Python中获取大文件的MD5哈希值

附录!

通常在编写python时,它有助于养成遵循pep-8的习惯.例如,在python中,变量通常是下划线而不是camelCased.但这只是风格,没有人真正关心那些除了那些必须阅读不良风格的人之外的东西......这可能是你从现在开始阅读这段代码.

Answer 2

为了正确有效地计算文件的哈希值(在Python 3中):

• 以二进制模式打开文件(即添加'b'到文件模式)以避免字符编码和行结束转换问题.
• 不要将完整的文件读入内存,因为这会浪费内存.相反,逐块顺序读取它并更新每个块的散列.
• 消除双缓冲,即不使用缓冲IO,因为我们已经使用了最佳块大小.
• 使用readinto()以避免缓冲区搅动.

例:

import hashlib

def sha256sum(filename):
    h  = hashlib.sha256()
    b  = bytearray(128*1024)
    mv = memoryview(b)
    with open(filename, 'rb', buffering=0) as f:
        for n in iter(lambda : f.readinto(mv), 0):
            h.update(mv[:n])
    return h.hexdigest()

Answer 3

我会简单地建议：

def get_digest(file_path):
    h = hashlib.sha256()

    with open(file_path, 'rb') as file:
        while True:
            # Reading is buffered, so we can read smaller chunks.
            chunk = file.read(h.block_size)
            if not chunk:
                break
            h.update(chunk)

    return h.hexdigest()

这里所有其他答案似乎太复杂了。Python在读取时已经在缓冲（以理想的方式，或者如果您有更多有关基础存储的信息，则可以配置该缓冲），因此最好分块读取散列函数找到的理想值，这样可以使其更快或更省时计算哈希函数。因此，您可以使用Python缓冲来控制应该控制的内容，而不是禁用缓冲并尝试自己模拟它，即数据消费者可以找到理想的哈希块大小。

Answer 4

这是一个 Python 3、POSIX 解决方案（不是 Windows！），用于mmap将对象映射到内存中。

import hashlib
import mmap

def sha256sum(filename):
    h  = hashlib.sha256()
    with open(filename, 'rb') as f:
        with mmap.mmap(f.fileno(), 0, prot=mmap.PROT_READ) as mm:
            h.update(mm)
    return h.hexdigest()

Answer 5

我编写了一个模块，它能够用不同的算法散列大文件。

pip3 install py_essentials

像这样使用模块：

from py_essentials import hashing as hs
hash = hs.fileChecksum("path/to/the/file.txt", "sha256")

Answer 6

从Python 3.11开始，您可以使用file_digest()方法来负责读取文件：

import hashlib

with open(inputFile, "rb") as f:
    digest = hashlib.file_digest(f, "sha256")