Bash 压缩任务的多进程速度可以提高多少？

我有一个大的压缩任务（压缩10000个大文件（>10g））

我发现

xz-z

或

gzip

都很慢

所以，我想使用多进程来使压缩并行化

但我听说高IO任务的限制是IO速度

我不太擅长硬件设计

---

那么，多进程可以加速压缩吗？

是的，它可以。压缩通常是计算范围，而不是I/O范围。对于n个内核，您可以使用接近n个加速比的因数。

请查看此处。。。使用

fxz

或

zpaq

都可以处理多个线程。用于压缩或解压缩。如果您正在进行100TB的磁盘读取和数TB的写入，我希望您的磁盘子系统配置良好。