Compression 并行压缩算法

Compression 并行压缩算法,compression,Compression,许多/大多数压缩算法都有并行解压缩实现(如pigz用于gzip等) 然而,很少有人看到时间的减少与任务中抛出的处理器数量成比例,大多数处理器从6个以上的处理器中获益 我很想知道是否有设计中内置了并行解压缩的压缩格式,也就是说,理论上100个CPU比1个CPU快100倍 谢谢您,祝您一切顺利:)您可能已被I/O绑定。在某些情况下,如果更多的处理器正在等待输入或输出,那么它们将不会有帮助。你只需要等待更多的处理器 或者你的输入文件不够大 对于足够大的输入,如果不受I/O限制,使用100个CPU,pi

许多/大多数压缩算法都有并行解压缩实现(如
pigz
用于
gzip
等)

然而,很少有人看到时间的减少与任务中抛出的处理器数量成比例,大多数处理器从6个以上的处理器中获益

我很想知道是否有设计中内置了并行解压缩的压缩格式,也就是说,理论上100个CPU比1个CPU快100倍


谢谢您,祝您一切顺利:)

您可能已被I/O绑定。在某些情况下,如果更多的处理器正在等待输入或输出,那么它们将不会有帮助。你只需要等待更多的处理器

或者你的输入文件不够大

对于足够大的输入,如果不受I/O限制,使用100个CPU,pigz的速度实际上将提高100倍。默认情况下,pigz向每个处理器发送128K块以供处理,因此您需要输入至少为13MB才能为所有100个处理器提供工作。理想情况下,要让所有处理器同时全速运行,需要比这多一点