Hash 文件托管站点的哈希函数

在文件托管网站上使用的最佳哈希函数是什么？我想为每个文件存储哈希，这样我就不必为重复的文件浪费HD空间

问题是，sha1/md5对于大文件来说速度很慢，并且预期的流量很高。 最好的解决方案是什么？在通过网络从用户处接收文件时在内存中进行哈希

我主要关心的是网站的性能。预期流量很高，因此哈希可能成为瓶颈

在文件托管网站上使用的最佳哈希函数是什么

SHA比MD5更好

问题是，sha1/md5对于大文件来说速度很慢，并且预期的流量很高。最好的解决方案是什么？在通过网络从用户处接收文件时在内存中进行哈希

这是内部托管还是外部托管？对于内部，我会在客户端散列。

---

您是否尝试过估计有多少文件是重复的？也许散列并没有什么好处——与浪费的CPU周期相比，它只会节省很少的空间

有许多不同的散列公式，最好的解决方案是一个不同参数的函数，包括您希望在站点的生命周期中拥有多少文件，有几个副本会有多糟糕，您可以为散列函数投入多少CPU马力，等等

---

是我在维基百科中找到的一个有趣的64位哈希函数，它的计算速度应该非常快，并且应该提供合理的冲突属性。还要检查该页面上链接到的其他哈希函数，其中一个函数将恰好满足您的需要。

对于大文件，所有哈希函数都将以相同的速度运行，因为它们受您从磁盘读取文件的速度的限制。一般来说，像您描述的那样的站点将受到磁盘和网络速度的限制，而不是CPU上运行的任何东西。

仔细阅读问题陈述，对于这个应用程序，SHA并不比MD5好，它更糟糕。这不是为了安全，而是为了检测重复项。