Fatal编程技术网
  • hash/
  • Hash 计算MD5哈希是否比SHA系列函数占用更少的CPU？

Hash 计算MD5哈希是否比SHA系列函数占用更少的CPU？

hash cryptography

Hash 计算MD5哈希是否比SHA系列函数占用更少的CPU？,hash,cryptography,md5,sha1,sha2,Hash,Cryptography,Md5,Sha1,Sha2,在“标准”笔记本电脑x86硬件上，计算MD5哈希是否比SHA-1或SHA-2占用的CPU更少？我对一般信息感兴趣，而不是特定于某个芯片 更新： 在我的例子中，我感兴趣的是计算文件的散列。如果文件大小很重要，让我们假设它是300K。是的，MD5的CPU密集度稍低一些。在我的Intel x86（Core2 Quad Q6600，2.4 GHz，使用一个内核）上，我在32位模式下得到： MD5 411 SHA-1 218 SHA-256 118 SHA-512 46 M

在“标准”笔记本电脑x86硬件上，计算MD5哈希是否比SHA-1或SHA-2占用的CPU更少？我对一般信息感兴趣，而不是特定于某个芯片

更新：
在我的例子中，我感兴趣的是计算文件的散列。如果文件大小很重要，让我们假设它是300K。

是的，MD5的CPU密集度稍低一些。在我的Intel x86（Core2 Quad Q6600，2.4 GHz，使用一个内核）上，我在32位模式下得到：

MD5       411
SHA-1     218
SHA-256   118
SHA-512    46

MD5       407
SHA-1     312
SHA-256   148
SHA-512   189

$ openssl speed md5 sha1
OpenSSL 0.9.8r 8 Feb 2011
The 'numbers' are in 1000s of bytes per second processed.
type             16 bytes     64 bytes    256 bytes   1024 bytes   8192 bytes
md5              30055.02k    94158.96k   219602.97k   329008.21k   384150.47k
sha1             31261.12k    95676.48k   224357.36k   332756.21k   396864.62k
在64位模式下：

MD5       411
SHA-1     218
SHA-256   118
SHA-512    46

MD5       407
SHA-1     312
SHA-256   148
SHA-512   189

$ openssl speed md5 sha1
OpenSSL 0.9.8r 8 Feb 2011
The 'numbers' are in 1000s of bytes per second processed.
type             16 bytes     64 bytes    256 bytes   1024 bytes   8192 bytes
md5              30055.02k    94158.96k   219602.97k   329008.21k   384150.47k
sha1             31261.12k    95676.48k   224357.36k   332756.21k   396864.62k
对于“长”消息，数字是以每秒兆字节为单位的（对于长度超过8KB的消息，这是您得到的）。这是一个用C（和Java）实现的哈希函数库。所有的实现都来自同一个作者（me），并且在优化方面做出了相当的努力；因此，速度差可被视为功能的固有特性

作为一个比较点，考虑最近的硬盘将运行在大约100 Mb/s，并且任何超过USB的都将在60 Mb/s以下。尽管SHA-256在这里看起来“慢”，但在大多数情况下它已经足够快了

请注意，其中包括SHA-512的32位实现，它比我的代码快得多（但没有64位SHA-512快），因为OpenSSL实现是在汇编中，并且使用SSE2寄存器，这在普通C中是无法实现的。SHA-512是这四个函数中唯一受益于SSE2实现的函数

编辑：在（）上，可以找到许多散列函数速度的报告（单击“Telechargez maintenant”链接）。这份报告是法文的，但大部分都是表格和数字，而且数字都是国际性的。实现的散列函数不包括SHA-3候选函数（SHABAL除外），但我正在研究它。

MD5还受益于SSE2的使用，请查看BarsWF，然后告诉我它没有。它所需要的只是一点汇编知识，您就可以编写自己的MD5 SSE2例程。然而，对于大量的吞吐量，散列过程中的速度与重新排列输入数据以与使用的SIMD指令兼容的时间之间存在折衷。

在我的2012年MacBook Air上（Intel Core i5-3427U，2x 1.8 GHz，2.8 GHz Turbo），SHA-1比MD5稍快（在64位模式下使用OpenSSL）：

更新：10个月后，使用OS X 10.9，SHA-1在同一台机器上速度变慢：

$ openssl speed md5 sha1
OpenSSL 0.9.8y 5 Feb 2013
The 'numbers' are in 1000s of bytes per second processed.
type             16 bytes     64 bytes    256 bytes   1024 bytes   8192 bytes
md5              36277.35k   106558.04k   234680.17k   334469.33k   381756.70k
sha1             35453.52k    99530.85k   206635.24k   281695.48k   313881.86k
第二次更新：在OS X 10.10上，SHA-1速度恢复到10.8级：

$ openssl speed md5 sha1
OpenSSL 0.9.8zc 15 Oct 2014
The 'numbers' are in 1000s of bytes per second processed.
type             16 bytes     64 bytes    256 bytes   1024 bytes   8192 bytes
md5              35391.50k   104905.27k   229872.93k   330506.91k   382791.75k
sha1             38054.09k   110332.44k   238198.72k   340007.12k   387137.77k
第三次更新：OS X 10.14和LibreSSL的速度要快得多（仍然在同一台机器上）。SHA-1仍然位居榜首：

$ openssl speed md5 sha1
LibreSSL 2.6.5
The 'numbers' are in 1000s of bytes per second processed.
type             16 bytes     64 bytes    256 bytes   1024 bytes   8192 bytes
md5              43128.00k   131797.91k   304661.16k   453120.00k   526789.29k
sha1             55598.35k   157916.03k   343214.08k   489092.34k   570668.37k
真正的答案是：视情况而定

<> P>有两个因素需要考虑，最明显的是：运行这些算法的CPU和算法的实现。 例如，我和我的朋友都运行完全相同的openssl版本，使用不同的Intel Core i7 CPU得到的结果略有不同

我在3.40GHz下使用Intel（R）Core（TM）i7-2600 CPU进行测试

The 'numbers' are in 1000s of bytes per second processed.
type             16 bytes     64 bytes    256 bytes   1024 bytes   8192 bytes
md5              64257.97k   187370.26k   406435.07k   576544.43k   649827.67k
sha1             73225.75k   202701.20k   432679.68k   601140.57k   679900.50k
以及采用Intel（R）Core（TM）i7CPU 920@2.67GHz的his

The 'numbers' are in 1000s of bytes per second processed.
type             16 bytes     64 bytes    256 bytes   1024 bytes   8192 bytes
md5              51859.12k   156255.78k   350252.00k   513141.73k   590701.52k
sha1             56492.56k   156300.76k   328688.76k   452450.92k   508625.68k
我们都使用ArchLinux官方软件包中完全相同的OpenSSL 1.0.1j二进制文件（2014年10月15日）

我的观点是，随着sha1安全性的提高，cpu设计者更有可能提高sha1的速度，更多的程序员将致力于算法的优化，而不是md5sum

我猜md5有一天将不再被使用，因为它似乎比sha1没有优势。我还在真实文件上测试了一些案例，两种情况下的结果都是一样的（可能受到磁盘I/O的限制）

一个4.6GB大文件的md5sum所用的时间与同一文件的sha1sum所用的时间完全相同，许多小文件（同一目录中的488）所用的时间也一样。我做了十几次测试，结果都是一样的

--

这将是非常有趣的进一步调查。我想有一些专家可以提供一个可靠的答案，解释为什么在较新的处理器上sha1比md5快。

sha1在Power9上比md5sum快很多

$ uname -mov
#1 SMP Mon May 13 12:16:08 EDT 2019 ppc64le GNU/Linux

$ cat /proc/cpuinfo
processor       : 0
cpu             : POWER9, altivec supported
clock           : 2166.000000MHz
revision        : 2.2 (pvr 004e 1202)

$ ls -l linux-master.tar
-rw-rw-r-- 1 x x 829685760 Jan 29 14:30 linux-master.tar

$ time sha1sum linux-master.tar
10fbf911e254c4fe8e5eb2e605c6c02d29a88563  linux-master.tar

real    0m1.685s
user    0m1.528s
sys     0m0.156s

$ time md5sum linux-master.tar
d476375abacda064ae437a683c537ec4  linux-master.tar

real    0m2.942s
user    0m2.806s
sys     0m0.136s

$ time sum linux-master.tar
36928 810240

real    0m2.186s
user    0m1.917s
sys     0m0.268s
作为一个有经验的人，我想我会提供更多的技术解释，而不是这里提供的基准，给将来碰巧发现这一点的人

MD5比SHA1做的“工作”更少（例如压缩循环次数更少），因此人们可能认为它应该更快。然而，MD5算法主要是一个大的依赖链，这意味着它不能很好地利用现代超标量处理器（即每个时钟的指令数较低）。SHA1具有更多可用的并行性，因此尽管需要完成更多的“计算工作”，但在现代超标量处理器上它通常比MD5更快。
如果您在较旧的处理器或超标量“宽度”较小的处理器（例如基于Silvermont的Atom CPU）上进行MD5与SHA1的比较，您通常会发现MD5比SHA1快

SHA2和SHA3的计算强度甚至比SHA1更高，而且通常要慢得多。
然而，需要注意的一点是，一些新的x86和ARM CPU具有加速SHA1和SHA256的指令，如果使用这些指令，这显然对这些算法有很大帮助

另外，SHA256和SH512的性能可能表现出类似的奇怪行为。SHA512比SHA256做更多的“工作”，但两者之间的关键区别在于，SHA256使用32位字进行操作，而SHA512使用64位字进行操作。因此，在64位字大小的平台上，SHA512通常比SHA256快，因为它一次处理的数据量是SHA256的两倍。相反，在32位字大小的平台上，SHA256的性能应优于SHA512

请注意，以上所有内容仅适用于单缓冲区哈希（到目前为止是最常见的用例）。如果你很喜欢计算多个散列