C 用于同步多个项目集合的高效数据结构和策略

我想要一个单一类型的项目的主要集合，随着时间的推移会对其进行修改。几个从属集合将定期与主集合同步。主集合应向从属集合发送项目增量

Primary Collection: A, C, D
Slave Collection 1: A, C    (add D)
Slave Collection 2: A, B    (add C, D; remove B)

从属集合不能单独添加或删除项，它们可能存在于不同的进程中，因此我可能会使用管道来推送数据

我不想推送超过必要的数据，因为收集可能会变得相当大

什么样的数据结构和策略最适合这种情况？

• 如果不推送所有数据，则需要某种日志，而不是使用管道带宽，而是使用主内存。在CPU和内存使用之间找到良好平衡的参数是“推送”频率
• 根据你的问题，我假设你有不止一个从进程。在这种情况下，一些在主进程中使用双缓冲的共享内存或（Linux）方法应该比多管道更好，因为它甚至不需要多线程推送，而多线程推送将用于优化同步期间的总体管道吞吐量。
  可以使用全局同步屏障通知从属进程从masterCollectionA读取而不进行复制，而master修改masterCollectionB（使用masterCollectionA的副本初始化），反之亦然。对集合的访问应在从机和主机之间联锁。从属服务器可以复制该集合（快照），前提是它们会阻止它通过主服务器的下一次更新尝试，从而允许它继续。从进程中的修改可以通过针对单个元素的写时拷贝策略来实现。这种协作方法实现起来相当简单，如果从进程不每次复制整个快照，那么总体内存消耗就很低

我用它

（顺便说一句，“奴隶”这个词对某些人来说是不舒服的，这是有原因的。）

对于每个远程站点，主站点上都有一个顺序文件，表示远程站点上存在的内容

主站点上有一个过程遍历主集合，并在遍历过程中读取相应的文件，检测远程站点上当前存在的内容与应该存在的内容之间的差异。 这些差异会产生三角洲，并将其传输到远程站点。 同时，该过程写入一个新文件，表示处理增量后远程站点将存在的内容

这样做的好处是，它不依赖于检测主集合中的更改事件，因为这些更改事件通常不可靠，或者可以自动取消，或者被其他更改弄得无关紧要，因此可以减少到远程站点的不必要传输

在集合是简单的事物列表的情况下，这归结为拥有远程集合的本地副本并运行

diff

算法来获得增量。 这里有两个这样的算法：

如果可以对集合进行排序（如A、B、C示例），只需运行合并循环：

while(ix<nx && iy<ny){
  if (X[ix] < Y[iy]){
    // X[ix] was inserted in X
    ix++;
  } else if (Y[iy] < X[ix]){
    // Y[iy] was deleted from X
    iy++;
  } else {
    // the two elements are equal. skip them both;
    ix++; iy++;
  }
}
while(ix<nx){
  // X[ix] was inserted in X
  ix++;
}
while(iy<ny>){
  // Y[iy] was deleted from X
  iy++;
}

性能通常不是问题，因为该过程不必以高频率运行

---

有一个，而且。

是想让奴隶与主人达成协议吗？如果是这样，为什么C从从属1中移除？如果不需要，主设备基于什么原因决定从设备1不再需要C？如果目标是最终的一致性，那么主服务器难道不需要知道每个从服务器在集合中拥有什么吗？从机将如何与主机通信他们当前拥有哪些信息？如果奴隶无法自己添加或删除物品，他们是如何丢失（或获得）信息的？物品是可变的吗？@JonathanLeffler-Yikes，那是个错误。是的，目标是从属对象应该镜像主集合，并且主对象控制其他集合中的内容。我应该提到的是，从属节点的收集可以根据从属节点何时联机而有所不同。

Until we have read through both collections X and Y,
  See if the current items are equal

  else see if a single item was inserted in X
  else see if a single item was deleted from X

  else see if 2 items were inserted in X
  else see if a single item was replaced in X
  else see if 2 items were deleted from X

  else see if 3 items were inserted in X
  else see if 2 items in X replaced 1 items in Y
  else see if 1 items in X replaced 2 items in Y
  else see if 3 items were deleted from X

  etc. etc. up to some limit