Zip 压缩不可压缩但非常相似的文件组是否可行?

Zip 压缩不可压缩但非常相似的文件组是否可行?,zip,gzip,winrar,Zip,Gzip,Winrar,我有一些15 GB以上大小的文件,其中没有一个可以压缩,因为内容是加密的容器 我有很多这样的文件,它们之间只存在细微的差异,所以90%以上的数据是通用的 使用WinRAR,我可以将字典大小设置为1GB,但我相信这意味着每个文件共有15GB,只有1GB可以有效压缩。所以两个文件相当于29GB的最佳情况 是否存在压缩多个大型相似文件的软件。如果文件正确加密,则加密数据中不会有相似之处。正确加密的文件与随机数据无法区分 如果文件之间有任何相似之处,即使是很小的部分,加密都是不正确的和被破坏的。如果加密

我有一些15 GB以上大小的文件,其中没有一个可以压缩,因为内容是加密的容器

我有很多这样的文件,它们之间只存在细微的差异,所以90%以上的数据是通用的

使用WinRAR,我可以将字典大小设置为1GB,但我相信这意味着每个文件共有15GB,只有1GB可以有效压缩。所以两个文件相当于29GB的最佳情况


是否存在压缩多个大型相似文件的软件。

如果文件正确加密,则加密数据中不会有相似之处。正确加密的文件与随机数据无法区分

如果文件之间有任何相似之处,即使是很小的部分,加密都是不正确的和被破坏的。如果加密模式(如ECB或CTR模式)具有相同的密钥和nonce

注意:如果加密数据中存在重复,泄漏了有关底层数据的信息,这通常是一个安全问题。

WinRAR的固态压缩工作原理与您想象的不同。字典大小只是分配给压缩每个文件动态使用的类似文件的内存空间

例如,我有一个包含366个文件的文件夹。30个文件是小于12KB的文本文件。其他是二进制文件,文件大小在40 KB到450 KB之间。所有文件的总大小为48 MB。使用字典大小仅为4 MB的可靠压缩,并为这些文件配置了正确的
RarFiles.lst
,使用RAR4格式可生成仅为205 KB的RAR归档文件。在WinRAR中打开RAR归档文件时可以看到,大多数文件在归档文件中的存储长度都小于500字节,包括文件头。因此,尽管总字节数是字典大小的10倍多,但可靠的压缩仍然令人印象深刻。通过使用RAR5格式并使用64 MB的字典大小,可以使RAR归档文件更小,从而使实体RAR归档文件的文件大小为163 KB

但是WinRAR的压缩不是为压缩类似的大文件而设计的

最佳压缩此类文件的技术是首先使用压缩方法store将所有这些文件放入单个存档文件,即使用未压缩的数据生成一个巨大的文件。然后,使用普通、良好甚至最佳压缩来压缩这个巨大的归档文件,而不创建一个可靠的归档文件

注意:默认情况下,WinRAR只将包含通常已压缩数据的文件存储在存档文件中。因此,在选择包含刚存储在归档中的所有文件的数据的巨大RAR归档文件并单击按钮添加后,有必要从要存储的文件列表中删除选项卡文件上的文件名模式*.rar而不进行压缩,以将选定的大型rar归档文件压缩为最终rar归档文件


但这项技术是否有效并适用于15 GB以上的文件取决于文件数据、可用的可用存储介质大小和可用的可用内存大小。

让我澄清一下,我有一个加密的容器。我复制了容器,并对其中的一些文件进行了一些更改。容器的其余部分(脂肪除外)将是相同的。我是说,容器的两个稍微不同的副本,而不是容器本身。基本上是相同的答案。一种方法是将容器的加密处理为各个单独加密的段。这是通常对整个磁盘(在您的容器中)进行的加密。在磁盘情况下,通常使用包含扇区号作为组件的密钥或密钥/iv对单独加密每个扇区。因此,每个扇区都是唯一且单独加密的。有加密模式和方案,如XTS。有关XTS的更多信息,请参阅。。。。。。请注意,XTS模式在您的情况下可能是安全的解决方案。请考虑接受有帮助的答案。要接受答案,请单击最佳答案旁边的空心复选标记,这样做将提高您的声誉并允许更多功能,有关更多详细信息,请参阅。也请考虑回去接受过去的答案,这样做会增加你的声誉,并允许更多的能力,请参阅