Algorithm 最快实时解压算法

Algorithm 最快实时解压算法,algorithm,compression,Algorithm,Compression,我正在寻找一种算法,以最小的开销实时解压缩数据块(1k-30k)。压缩速度最好快,但不如解压缩速度重要 据我所知,LZO1X将是最快的。我错过什么了吗?理想情况下,算法不在GPL下。当您无法使用GPL许可代码时,您的选择是明确的-。非常宽松的许可证,快速压缩,公平的压缩比,非常快速的解压缩,适用于任何地方,并移植到每种sane语言。试试谷歌的 Snappy是一个压缩/解压缩库。它不以最大压缩或与任何其他压缩库兼容为目标;相反,它的目标是非常高的速度和合理的压缩。例如,与zlib的最快模式相比,S

我正在寻找一种算法,以最小的开销实时解压缩数据块(1k-30k)。压缩速度最好快,但不如解压缩速度重要


据我所知,LZO1X将是最快的。我错过什么了吗?理想情况下,算法不在GPL下。

当您无法使用GPL许可代码时,您的选择是明确的-。非常宽松的许可证,快速压缩,公平的压缩比,非常快速的解压缩,适用于任何地方,并移植到每种sane语言。

试试谷歌的

Snappy是一个压缩/解压缩库。它不以最大压缩或与任何其他压缩库兼容为目标;相反,它的目标是非常高的速度和合理的压缩。例如,与zlib的最快模式相比,Snappy对于大多数输入来说要快一个数量级,但是产生的压缩文件要大20%到100%。在64位模式的core i7处理器的单核上,Snappy以大约250 MB/秒或更高的速度压缩,并以大约500 MB/秒或更高的速度解压缩

这就是你要找的

LZ4是一种无损压缩算法,提供的压缩速度为 每核400 MB/s,可通过多核CPU扩展。它的特点是 极快的解码器,每个核心的速度为多GB/s, 通常在多核系统上达到RAM速度限制


什么减压?文件夹?溪流?IP包?视频什么编码?不压缩不是最快的压缩吗?@Jenschauder:当然不是,如果解压缩速度超过RAM速度(例如解压缩到L2/L3缓存),通过压缩可以获得比不压缩更快的速度。当使用磁盘或网络时,您的压缩优势可能更大。本文:声称LZO相对于zlib的解压速度优势是20倍(当然,压缩性能恶化)。是的,zlib在很多方面都很好,但在解压速度方面不是最好的。作为zlib的合著者和维护者,我可以说这并不是这个问题的好答案。如果你允许低效率的压缩,解压速度会快得多。Yuku,我们观察到运行
hadoop-text${snappy\u compressed\u file}
的解压速度为10-12Mb/秒(wiki上声称为500Mb/s)。已安装Hadoop本机libs(包括snappy本机)。有什么想法吗?我们的CPU信息(Amazon EMR)Intel(R)Xeon(R)CPU E5645@2.40GHz我自己的应用程序运行在1.2 Ghz ARMv7处理器上,可在100ms内解压缩5MB数据。你是从内存中解压还是有I/O开销?谢谢分享,Yuku。虽然涉及I/O,但与解压命中相比,开销可以忽略不计。以下是关于snappy google group的更多细节的相同问题: