Filesystems Reed-Solomon擦除编码和复制因子

Filesystems Reed-Solomon擦除编码和复制因子,filesystems,distributed-computing,distributed,forwarderrorcorrection,Filesystems,Distributed Computing,Distributed,Forwarderrorcorrection,我正在研究分布式文件系统架构和设计。我遇到的许多DFS通常具有以下体系结构: 一种名称节点或元数据服务器,用于管理数据块/块的位置以及文件系统的层次结构 用于存储属于一个或多个逻辑文件的数据块或数据块的数据节点或数据服务器 一种客户端,它与namenode对话,以找到合适的数据节点进行读/写操作 其中许多系统有两个主要变体,一个块大小和一个复制因子 我的问题是: 复制因子和前向纠错是否与Reed-Solomon擦除编码兼容?使用这两种技术来确保数据的高可用性是否有意义?或者,使用其中一个或另

我正在研究分布式文件系统架构和设计。我遇到的许多DFS通常具有以下体系结构:

  • 一种名称节点或元数据服务器,用于管理数据块/块的位置以及文件系统的层次结构
  • 用于存储属于一个或多个逻辑文件的数据块或数据块的数据节点或数据服务器
  • 一种客户端,它与namenode对话,以找到合适的数据节点进行读/写操作
其中许多系统有两个主要变体,一个块大小和一个复制因子

我的问题是:


复制因子和前向纠错是否与Reed-Solomon擦除编码兼容?使用这两种技术来确保数据的高可用性是否有意义?或者,使用其中一个或另一个就足够了(折衷是什么?

是否可以混合和匹配普通的旧复制和擦除代码取决于所讨论的分布式文件系统在其功能集中提供了什么,但它们通常是互斥的

复制很简单,因为文件/对象作为一个整体复制到“n”(复制因子)数据节点。写入到所有节点。可以单独从任何一个节点进行读取,因为它们承载整个文件。因此,您可以在多个节点之间分配不同的读取。不涉及中间数学,主要是I/O限制。此外,对于给定的文件大小,磁盘使用率更高(因为有“n”个拷贝)

擦除代码是复杂的,因为文件/对象的一部分在写入期间被编码并在“n”个数据节点之间传播。读取需要从多个节点获取数据,对其进行解码并重建数据。因此,数学是复杂的,可能会受到CPU的限制。与复制相比,磁盘使用率更低,但容错能力也更低