Performance 快速压缩包含字节值的大型(100 MB)文本文件

Performance 快速压缩包含字节值的大型(100 MB)文本文件,performance,compression,Performance,Compression,我有一个大小为100MB的大文本文件要压缩。它必须很快(12-14秒)。我可以考虑哪些算法,它们的期望压缩比是多少? 我有一些文件压缩算法,比如FLZP、SR2、ZPAQ、Fp8、LPAQ8、PAQ9A。。。。其中哪一种表现最好?时间限制对我来说很严格。您选择的算法是世界上最好的压缩算法。因此,它们是缓慢的 出现了LZ4和Snappy等名称。您选择的算法是世界上最优秀的压缩算法。因此,它们是缓慢的 出现了LZ4和Snappy等名称。您还没有定义您想要的性能标准:更高的速度还是更高的压缩?基于LZ

我有一个大小为100MB的大文本文件要压缩。它必须很快(12-14秒)。我可以考虑哪些算法,它们的期望压缩比是多少?
我有一些文件压缩算法,比如FLZP、SR2、ZPAQ、Fp8、LPAQ8、PAQ9A。。。。其中哪一种表现最好?时间限制对我来说很严格。

您选择的算法是世界上最好的压缩算法。因此,它们是缓慢的


出现了LZ4和Snappy等名称。

您选择的算法是世界上最优秀的压缩算法。因此,它们是缓慢的


出现了LZ4和Snappy等名称。

您还没有定义您想要的性能标准:更高的速度还是更高的压缩?基于LZ的压缩机(FLZP、LZO、LZ4、LZAM、Snappy等)速度最快。PAQ压缩器对每个位使用上下文混合,因此速度较慢,但提供最佳压缩比。在这两者之间,您可以找到类似Brotli、Zstd(它们都提供了一系列调整速度/压缩的选项)或更老的Bzip/Bzip2。就我个人而言,我喜欢BCM,因为它在速度/压缩方面有很好的折衷,代码也很简单:。

您还没有定义您想要的性能标准:更高的速度还是更高的压缩?基于LZ的压缩机(FLZP、LZO、LZ4、LZAM、Snappy等)速度最快。PAQ压缩器对每个位使用上下文混合,因此速度较慢,但提供最佳压缩比。在这两者之间,您可以找到类似Brotli、Zstd(它们都提供了一系列调整速度/压缩的选项)或更老的Bzip/Bzip2。就我个人而言,我喜欢BCM,因为它在速度/压缩方面有很好的折衷,代码也很简单:。

我提到了时间限制。我期望最好的压缩比,但算法也应该遵守时间限制。时间限制是一个约束,而不是性能定义。在时间限制内,如果您更喜欢压缩比有限的更快的算法(比如<2秒),那么就使用LZ压缩器(Zstd和Brotli有很多级别可供使用)。如果您同意压缩时间接近时间限制,那么基于CM的压缩器将提供更好的比率。CM压缩器在你的硬件上是否足够快还有待观察。我提到了时间限制。我期望最好的压缩比,但算法也应该遵守时间限制。时间限制是一个约束,而不是性能定义。在时间限制内,如果您更喜欢压缩比有限的更快的算法(比如<2秒),那么就使用LZ压缩器(Zstd和Brotli有很多级别可供使用)。如果您同意压缩时间接近时间限制,那么基于CM的压缩器将提供更好的比率。CM压缩器在硬件上是否足够快还有待观察。