Compression 硬盘驱动器的硬件无损压缩？

我偶然看到了这篇关于的文章，并意识到这不仅可以提供一种很好的方式来保护您的数据，而且还可以加快我们用来加密数据的应用程序的速度

这让我想知道

是否可以对压缩执行相同的操作，以便在读取和写入驱动器时适当地压缩或解压缩所有数据？ 我已经有一段时间没有做任何固件编程了，所以我甚至不确定这在技术上是否可行

然而，如果是这样的话，它可能会给人们提供更多的存储空间

---

在固件中使用这种方法编程的利弊是什么？

在100美元的1TB驱动器世界中，速度是比空间更有价值的资源。这不值得

编辑：

啊，你是说从盘片上抓取100字节的压缩数据，解压后发送到系统会比抓取800字节的未压缩数据并发送到系统更快，因为寻道时间太慢了

这似乎是一个聪明的方法，但我愿意打赌，如果这种折衷最终值得，硬盘驱动器制造商已经采用了这种技术，尽管事实如此，硬盘驱动器的速度还是如此

---

但谁知道呢，你可能会发现什么

在价值100美元的1TB硬盘世界中，速度是比空间更有价值的资源。这不值得

编辑：

啊，你是说从盘片上抓取100字节的压缩数据，解压后发送到系统会比抓取800字节的未压缩数据并发送到系统更快，因为寻道时间太慢了

这似乎是一个聪明的方法，但我愿意打赌，如果这种折衷最终值得，硬盘驱动器制造商已经采用了这种技术，尽管事实如此，硬盘驱动器的速度还是如此

---

但谁知道呢，你可能会发现什么

这是可能的，但非常非常棘手。您必须开发自定义驱动程序，因为虽然加密扇区的大小与常规扇区相同，因此使用相同的数学来查找数据，但压缩扇区较小，因此您必须在操作系统中或驱动器本身上持有“真实”扇区到压缩扇区的映射

唯一的另一个方面是访问速度和延迟。它不应该影响seek，但压缩数据可能比写入数据需要更长的时间——压缩相当需要计算

此外，在处理大数据块之前，压缩不是很好。您可能可以动态压缩512字节1个扇区，并获得平均几%的压缩，但人们确实希望看到20%或更多的压缩，然后才愿意为硬件支付额外的资金

它将需要更多的磁盘处理能力和内存，这将增加驱动器的成本

此外，驱动器容量的增长速度可能不符合成本效益

比如说，你开发了一种奇迹般的压缩技术，它可以在不降低性能的情况下将空间翻一番，不需要额外的脆弱或容易崩溃的驱动程序，可以在任何操作系统上运行，等等。但它会使驱动器的成本增加100美元

现在有人将1TB驱动器转换为2TB驱动器可能有意义，但6-8个月后2TB驱动器将低于200美元。对于任何更小的驱动器来说，这都是不值得的，因为现在你只需99美元就可以得到1TB

如果您这样做，它将在驱动器和计算机之间工作，那么与直接将其构建到驱动器中相比，您将有更大的延迟，而且价格/性能的冲击可能不值得

因此，从技术上讲，这是可能的，但存在陷阱，增加了系统的复杂性和弱点，但即使没有这些缺点，也可能不值得

---

-亚当

这是可能的，但它非常非常棘手。您必须开发自定义驱动程序，因为虽然加密扇区的大小与常规扇区相同，因此使用相同的数学来查找数据，但压缩扇区较小，因此您必须在操作系统中或驱动器本身上持有“真实”扇区到压缩扇区的映射

唯一的另一个方面是访问速度和延迟。它不应该影响seek，但压缩数据可能比写入数据需要更长的时间——压缩相当需要计算

此外，在处理大数据块之前，压缩不是很好。您可能可以动态压缩512字节1个扇区，并获得平均几%的压缩，但人们确实希望看到20%或更多的压缩，然后才愿意为硬件支付额外的资金

它将需要更多的磁盘处理能力和内存，而这需要 这会增加驱动器的成本

此外，驱动器容量的增长速度可能不符合成本效益

比如说，你开发了一种奇迹般的压缩技术，它可以在不降低性能的情况下将空间翻一番，不需要额外的脆弱或容易崩溃的驱动程序，可以在任何操作系统上运行，等等。但它会使驱动器的成本增加100美元

现在有人将1TB驱动器转换为2TB驱动器可能有意义，但6-8个月后2TB驱动器将低于200美元。对于任何更小的驱动器来说，这都是不值得的，因为现在你只需99美元就可以得到1TB

如果您这样做，它将在驱动器和计算机之间工作，那么与直接将其构建到驱动器中相比，您将有更大的延迟，而且价格/性能的冲击可能不值得

因此，从技术上讲，这是可能的，但存在陷阱，增加了系统的复杂性和弱点，但即使没有这些缺点，也可能不值得

---

-亚当谁还记得斯塔克？这一切都已经过去了。速度从来都不是问题，也不是棘手的问题。现在完全没有必要了。

谁还记得斯塔克？这一切都已经过去了。速度从来都不是问题，也不是棘手的问题。现在完全没有必要了。

如前所述，收益并没有那么大，尤其是如果您以压缩形式存储很少访问的文件

因为在硬件中很难做到，所以应该报告什么样的磁盘大小？如果输入的熵等于它的大小，你会怎么做？而且，与硬盘相比，现代CPU+RAM的速度快得惊人，只要用软件就可以了

---

我所知道的一个实现是在任何其他文件系统之上分层的，另一个是ZFS，它本机支持压缩。

如前所述，收益并没有那么大，特别是如果您以压缩形式存储很少访问的文件

因为在硬件中很难做到，所以应该报告什么样的磁盘大小？如果输入的熵等于它的大小，你会怎么做？而且，与硬盘相比，现代CPU+RAM的速度快得惊人，只要用软件就可以了

---

据我所知，有一种实现是在任何其他文件系统之上分层的，另一种是ZFS，它本机支持压缩。

我记得大约15年前看到过一则广告，宣传一种可以进行硬件压缩的IDE控制器卡。我不知道这是好是坏。那是1GB硬盘超过1000美元的时代。

我记得大约15年前看到一则广告，宣传一种可以进行硬件压缩的IDE控制器卡。我不知道这是好是坏。那是1GB硬盘超过1000美元的时代。

我不久前也想到了一个关于网络流量的想法——以前已经做过：有使用gzip进行压缩的加速卡：

---

我还想到了另一个好处，那就是现在您可以不压缩驱动器中的内容而进行传输—只需从磁盘读取压缩的数据块并发送，而不必在以后进行压缩。

我不久前也想到了网络流量的这一想法—以前已经做过：有使用gzip压缩的加速卡：

---

我还想到了另一个好处，那就是现在您无需压缩驱动器中的内容即可进行传输—只需从磁盘读取压缩的数据块并发送，而无需在以后进行压缩。

另一个需要考虑的问题是，您磁盘上的大部分大文件都是音乐，图片和视频通常已经被压缩成MP3、JPEG、MP4/MOV格式，所以压缩对它们没有帮助。而那些不是压缩文本文件、文字处理、电子邮件文本的文件往往只是杯水车薪

---

我自己也在想同样的事情，因为我搜索了数千个gzip文本文件，并解压缩了我的四核i7，我想知道专用gzip硬件是否能像GPU加速并行处理一样加速这一过程。但我怀疑上述担忧会使压缩硬盘对大多数用途没有多大帮助。

另一个考虑因素是，磁盘上的大部分大文件音乐、图片和视频通常已经压缩为MP3、JPEG、MP4/MOV，因此压缩对它们没有帮助。而那些不是压缩文本文件、文字处理、电子邮件文本的文件往往只是杯水车薪

---

我自己也在想同样的事情，因为我搜索了数千个gzip文本文件，并解压缩了我的四核i7，我想知道专用gzip硬件是否能像GPU加速并行处理一样加速这一过程。但我怀疑上述担忧会导致压缩硬盘对大多数用途没有多大帮助。

我们需要澄清/无损/压缩吗？到底什么是有损硬盘压缩

---

包含？哈哈哈-好问题。没有想到：压缩最好在文件系统级别完成——NTFS和ZFS以及一些专门的文件系统支持文件的压缩存储。回想当年，Stacker采用了一些令人印象深刻的技巧，如果使用扇区i/o，压缩驱动器看起来仍然像一个普通的胖文件系统，但这并不是什么大问题。我们需要澄清/无损/压缩吗？到底，有损硬盘压缩会带来什么？哈哈哈-好问题。没有想到：压缩最好在文件系统级别完成——NTFS和ZFS以及一些专门的文件系统支持文件的压缩存储。回想当年，Stacker采用了一些令人印象深刻的技巧，如果使用扇区i/o，压缩驱动器看起来仍然像一个普通的胖文件系统，但这并不是什么大问题。但是数据吞吐量的增加是否值得呢？硬盘是计算机中速度最慢的部件之一。如果您可以在相同的时间内获得200mb的数据，那么获得100mb的数据不是一种改进吗？但是数据吞吐量的增加是否值得呢？硬盘是计算机中速度最慢的部件之一。如果您可以在相同的时间内获得200mb的数据，那么在哪里获得100mb的数据不是一种改进吗？