Scripting 是否有内置冗余(如par2)的反向增量备份解决方案?

Scripting 是否有内置冗余(如par2)的反向增量备份解决方案?,scripting,server,backup,parity,Scripting,Server,Backup,Parity,我将家庭服务器设置为主要用于备份。我有大约90GB的个人数据,必须以最可靠的方式进行备份,同时保留磁盘空间。我想有完整的文件历史,这样我就可以回到任何特定日期的任何文件 由于数据的大小,每周完整备份不是一个选项。相反,我正在寻找一种增量备份解决方案。但是,我知道一组增量备份中的一个损坏会使整个系列(超过一个点)无法恢复。因此,简单的增量备份不是一种选择 我研究了许多解决这个问题的方法。首先,我将使用反向增量备份,这样最新版本的文件丢失的可能性就最小(旧文件就不那么重要了)。其次,我想用某种冗余来

我将家庭服务器设置为主要用于备份。我有大约90GB的个人数据,必须以最可靠的方式进行备份,同时保留磁盘空间。我想有完整的文件历史,这样我就可以回到任何特定日期的任何文件

由于数据的大小,每周完整备份不是一个选项。相反,我正在寻找一种增量备份解决方案。但是,我知道一组增量备份中的一个损坏会使整个系列(超过一个点)无法恢复。因此,简单的增量备份不是一种选择

我研究了许多解决这个问题的方法。首先,我将使用反向增量备份,这样最新版本的文件丢失的可能性就最小(旧文件就不那么重要了)。其次,我想用某种冗余来保护增量和备份。Par2奇偶校验数据似乎非常适合这项工作。简而言之,我正在寻找具有以下要求的备份解决方案:

  • 反向增量备份(以节省磁盘空间并为最近的备份排定优先级)
  • 文件历史记录(一种更广泛的类别,包括反向增量)
  • Par2增量奇偶校验数据和备份数据
  • 保留元数据
  • 带宽效率高(节省带宽;无需为每次增量复制整个目录)。大多数增量备份解决方案都应该以这种方式工作
这将(我相信)确保文件完整性和相对较小的备份大小。我已经研究了许多备份解决方案,但它们存在许多问题:

  • Bacula-简单正常增量备份
  • bup-增量,实现par2,但不是反向增量,不保留元数据
  • 重复性-增量、压缩和加密,但不是反向增量
  • dar-incremental和par2很容易添加,但是反向增量和无文件历史记录不是吗
  • rdiff备份-几乎完美满足我的需要,但它没有par2支持
到目前为止,我认为rdiff备份似乎是最好的折衷方案,但它不支持par2。我想我可以很容易地将par2支持添加到备份增量中,因为它们不会在每次备份时都被修改,但是其余的文件呢?我可以为备份中的所有文件递归生成par2文件,但这样做既慢又低效,而且我不得不担心备份过程中的损坏和旧的par2文件。特别是,我无法区分已更改的文件和已损坏的文件,我也不知道如何检查此类错误,或者它们将如何影响备份历史。有人知道更好的解决方案吗?有没有更好的办法解决这个问题


谢谢你通读我的困难,谢谢你能给我的任何意见。如果有任何帮助,我将不胜感激。

因为没有人能回答我的问题,所以我将写一些在研究该主题时发现的可能的解决方案。简而言之,我认为最好的解决方案是rdiff备份到ZFS文件系统。原因如下:

  • ZFS对存储的所有块进行校验和,可以轻松检测错误
  • 如果将ZFS设置为镜像数据,则它可以通过从良好副本复制来恢复错误
  • 这比完整备份占用更少的空间,即使数据复制了两次
  • 原稿和镜像中出现错误的几率很小
就我个人而言,我没有使用这个解决方案,因为在Linux上使用ZFS有点棘手。Btrfs看起来很有希望,但经过多年的使用,还没有被证明是稳定的。取而代之的是,我选择了一种更便宜的方法,简单地检查硬盘驱动器的智能数据。硬盘应该自己做一些错误检查/纠正,通过监视这些数据,我可以看到这个过程是否正常工作。它不如额外的文件系统奇偶校验好,但总比没有好

另外一些注意事项可能会让研究可靠备份开发的人员感兴趣:

  • par2似乎是过时的有缺陷的软件。zfec似乎是一个更快的现代替代品。bup中的讨论发生在不久前:
  • 在写入磁盘之前计算奇偶校验数据更安全。i、 不要写入磁盘,读取磁盘,然后计算奇偶校验数据。从ram中执行此操作,并对照原始版本检查是否具有额外的可靠性。这可能只适用于zfec,因为par2太慢了

使用rdiff备份作为引擎。我一直在研究它,但这需要我使用linux或虚拟机设置一个“服务器”

就我个人而言,我使用WinRAR每天按计划任务进行伪增量备份(实际上是对最近的文件进行完整备份)。它类似于“推送”备份

它不是真正的增量(或反向增量),但它根据上次更新的时间保存不同版本的文件。我的意思是,它保存了今天、昨天和前几天的版本,即使文件是相同的。您可以设置存档位以节省空间,但我不再麻烦您了,因为我备份的都是小型电子表格和文档

RAR有自己的奇偶校验或恢复记录,您可以设置大小或百分比。我使用1%(百分之一)

它可以保存元数据,我个人跳过了高分辨率的时间

它可以有效地压缩文件

然后我要做的就是将文件发送到我的备份。我已将其复制到另一个驱动器和网络中的另一台计算机。不需要真正的服务器,只需要一个共享。虽然Windows工作站的连接限制为10,但不能对太多的计算机执行此操作

因此,出于我的目的(可能适合您的目的),请每天备份我的文件,以获取在过去7天内更新的文件。然后我有另一个定时备份,备份在中更新的文件