计算MD5哈希的CPU密集程度是否比SHA系列功能少？

Question

在"标准"笔记本电脑x86硬件上计算MD5散列的CPU密集程度是否比SHA-1或SHA-2少？我对一般信息感兴趣,不是特定于某个芯片.

更新: 在我的情况下,我有兴趣计算文件的哈希值.如果文件大小很重要,我们假设它是300K.

Answer 1

是的,MD5的CPU密集程度较低.在我的Intel x86(Core2 Quad Q6600,2.4 GHz,使用一个内核)上,我在32位模式下得到这个:

MD5       411
SHA-1     218
SHA-256   118
SHA-512    46

这在64位模式下:

MD5       407
SHA-1     312
SHA-256   148
SHA-512   189

对于"长"消息,数字以兆字节/秒为单位(这是您获得的长度超过8 kB的消息).这是sphlib,C(和Java)中的散列函数实现库.所有实现都来自同一作者(我),并且在优化方面做出了类似的努力; 因此,速度差异可以被认为是功能的真正内在因素.

作为比较,请考虑最近的硬盘将以大约100 MB/s的速度运行,而任何通过USB的硬盘都将低于60 MB/s.尽管SHA-256在这里显得"慢",但对于大多数用途来说它足够快.

请注意,OpenSSL包含一个32位的SHA-512实现,它比我的代码快得多(但不如64位SHA-512快),因为OpenSSL实现是在汇编中并使用SSE2寄存器,这是不能的在简单的C中完成.SHA-512是这四个中唯一一个受益于SSE2实现的功能.

编辑:在此页面上,可以找到有关许多哈希函数速度的报告(单击"Telechargez maintenant"链接).该报告采用法语,但大多数都是表格和数字,而且数字是国际性的.实现的哈希函数不包括SHA-3候选者(SHABAL除外),但我正在研究它.

Answer 2

在我的2012 MacBook Air(英特尔酷睿i5-3427U,2x 1.8 GHz,2.8 GHz Turbo)上,SHA-1略快于MD5(在64位模式下使用OpenSSL):

$ openssl speed md5 sha1
OpenSSL 0.9.8r 8 Feb 2011
The 'numbers' are in 1000s of bytes per second processed.
type             16 bytes     64 bytes    256 bytes   1024 bytes   8192 bytes
md5              30055.02k    94158.96k   219602.97k   329008.21k   384150.47k
sha1             31261.12k    95676.48k   224357.36k   332756.21k   396864.62k

更新: 10个月后,OS X 10.9,SHA-1在同一台机器上变慢:

$ openssl speed md5 sha1
OpenSSL 0.9.8y 5 Feb 2013
The 'numbers' are in 1000s of bytes per second processed.
type             16 bytes     64 bytes    256 bytes   1024 bytes   8192 bytes
md5              36277.35k   106558.04k   234680.17k   334469.33k   381756.70k
sha1             35453.52k    99530.85k   206635.24k   281695.48k   313881.86k

第二次更新:在OS X 10.10上,SHA-1速度回到了10.8级:

$ openssl speed md5 sha1
OpenSSL 0.9.8zc 15 Oct 2014
The 'numbers' are in 1000s of bytes per second processed.
type             16 bytes     64 bytes    256 bytes   1024 bytes   8192 bytes
md5              35391.50k   104905.27k   229872.93k   330506.91k   382791.75k
sha1             38054.09k   110332.44k   238198.72k   340007.12k   387137.77k

Answer 3

真正的答案是:这取决于

有几个因素需要考虑,最明显的是:运行这些算法的cpu以及算法的实现.

例如,我和我的朋友都使用完全相同的openssl版本,并且使用不同的Intel Core i7 cpu获得略有不同的结果.

我在使用Intel(R)Core(TM)i7-2600 CPU @ 3.40GHz进行测试

The 'numbers' are in 1000s of bytes per second processed.
type             16 bytes     64 bytes    256 bytes   1024 bytes   8192 bytes
md5              64257.97k   187370.26k   406435.07k   576544.43k   649827.67k
sha1             73225.75k   202701.20k   432679.68k   601140.57k   679900.50k

他的英特尔(R)Core(TM)i7 CPU 920 @ 2.67GHz

The 'numbers' are in 1000s of bytes per second processed.
type             16 bytes     64 bytes    256 bytes   1024 bytes   8192 bytes
md5              51859.12k   156255.78k   350252.00k   513141.73k   590701.52k
sha1             56492.56k   156300.76k   328688.76k   452450.92k   508625.68k

我们都在ArchLinux官方软件包中运行OpenSSL 1.0.1j 2014年10月15日完全相同的二进制文件.

我对此的看法是,随着sha1的安全性增加,cpu设计者更有可能提高sha1的速度,并且更多的程序员将致力于算法的优化而不是md5sum.

我想md5将在某一天不再使用,因为它似乎没有优于sha1的优势.我还测试了一些真实文件的情况,结果在两种情况下总是相同的(可能受磁盘I/O限制).

大型4.6GB文件的md5sum与同一文件的sha1sum完全相同,与许多小文件(同一目录中的488)相同.我跑了十几次测试,他们一直在得到相同的结果.

-

进一步调查这将是非常有趣的.我想有一些专家可以提供一个可靠的答案,为什么sha1在新处理器上比md5更快.

Answer 4

作为一个花了一些时间优化 MD5 性能的人，我想我会提供比这里提供的基准更多的技术解释，给将来碰巧发现这一点的任何人。

MD5 比 SHA1 的“工作”更少（例如更少的压缩轮次），所以人们可能认为它应该更快。然而，MD5 算法主要是一个大的依赖链，这意味着它没有特别好地利用现代超标量处理器（即每时钟指令数较低）。SHA1 具有更多的并行性，因此尽管需要完成更多的“计算工作”，但在现代超标量处理器上，它通常最终比 MD5 更快。
如果您在较旧的处理器或具有较小超标量“宽度”的处理器（例如基于 Silvermont 的 Atom CPU）上进行 MD5 与 SHA1 的比较，您通常会发现 MD5 比 SHA1 快。

SHA2 和 SHA3 比 SHA1 的计算密集度更高，而且通常要慢得多。
然而，需要注意的一件事是，一些新的 x86 和 ARM CPU 具有加速 SHA1 和 SHA256 的指令，如果使用这些指令，这显然对这些算法有很大帮助。

顺便说一句，SHA256 和 SHA512 性能可能会表现出类似的奇怪行为。SHA512 比 SHA256 做更多的“工作”，但是两者之间的主要区别在于 SHA256 使用 32 位字进行操作，而 SHA512 使用 64 位字进行操作。因此，在 64 位字长的平台上，SHA512 通常比 SHA256 快，因为它一次处理两倍的数据量。相反，SHA256 在 32 位字长的平台上应该优于 SHA512。

请注意，以上所有内容仅适用于单缓冲区散列（迄今为止最常见的用例）。如果您喜欢并行计算多个散列，即多缓冲区 SIMD 方法，则行为会有所改变。