Parallel processing 可以使lzw压缩/解压缩并行吗?

Parallel processing 可以使lzw压缩/解压缩并行吗?,parallel-processing,compression,lzw,Parallel Processing,Compression,Lzw,我读过关于如何使用LZW压缩/解压数据的书,但我想让它使用多线程。。。但我认为这是不可能的。你怎么认为?有关于这个问题的论文或文章吗?或者甚至是关于如何做的提示。您可能需要阅读,特别是第2.2节准确地解释了如何并行LZW方案。您可能需要阅读,特别是第2.2节准确地解释了如何并行LZW方案。在较低级别上并行压缩算法将提供有限的加速,并且可能会带来更多的麻烦。原因是真正的好处在于压缩大型数据集。在这种情况下,简单地将数据分解成多个片段,并使用常规算法对其进行单独压缩要容易得多 LZW是旧的,不是很有

我读过关于如何使用LZW压缩/解压数据的书,但我想让它使用多线程。。。但我认为这是不可能的。你怎么认为?有关于这个问题的论文或文章吗?或者甚至是关于如何做的提示。

您可能需要阅读,特别是第2.2节准确地解释了如何并行LZW方案。

您可能需要阅读,特别是第2.2节准确地解释了如何并行LZW方案。

在较低级别上并行压缩算法将提供有限的加速,并且可能会带来更多的麻烦。原因是真正的好处在于压缩大型数据集。在这种情况下,简单地将数据分解成多个片段,并使用常规算法对其进行单独压缩要容易得多


LZW是旧的,不是很有效。其他方法可以更快更有效地压缩。您可以查看从到ppmd、paq等的各种方案,从压缩最少的最快方案到压缩最好的最慢方案。并行化的一个例子是,它使用尽可能多的处理器和内核将大型文件压缩到磁盘。它以并行方式提供从先前块到后续块的历史记录,以便与串行、单处理器gzip压缩相比不会失去压缩效率。

在较低级别上并行压缩算法将提供有限的加速比,并且可能会带来更多的麻烦。原因是真正的好处在于压缩大型数据集。在这种情况下,简单地将数据分解成多个片段,并使用常规算法对其进行单独压缩要容易得多


LZW是旧的,不是很有效。其他方法可以更快更有效地压缩。您可以查看从到ppmd、paq等的各种方案,从压缩最少的最快方案到压缩最好的最慢方案。并行化的一个例子是,它使用尽可能多的处理器和内核将大型文件压缩到磁盘。它以并行方式提供从先前块到后续块的历史记录,以便与串行、单处理器gzip压缩相比不会失去压缩效率。

当需要执行大量整数算法时,使用多线程并行压缩或解压缩算法是合理的。但是
lzw
不需要它。例如,您可以查看源代码


整数运算量很低。主要的瓶颈是
字典
。使用内存超频和自定义malloc realloc策略,您可以获得更高的性能。

当需要执行大量整数算法时,使用多线程并行化压缩或解压缩算法是合理的。但是
lzw
不需要它。例如,您可以查看源代码

整数运算量很低。主要的瓶颈是
字典
。使用内存超频和自定义malloc realloc策略,您可以获得更高的性能