在分布式Tensorflow中，拥有多个参数服务器的效果如何？

当我们有一个参数服务器，它的工人更新，那么对于相同数量的工人，拥有多个参数服务器会产生什么影响

i、 e.当我们有多个参数服务器而不是一个参数服务器时会发生什么

---

谢谢。

这被称为具有多参数服务器碎片。这提供了更多的细节 ，特别是第4.1节

为了将SGD应用于大型数据集，我们引入了一种变体——倾盆大雨SGD 一种异步随机梯度下降算法，使用多重 单个模型的副本。基本方法如下： 如下：我们将训练数据分成若干子集并运行 每个子集上的模型副本。模型进行通信 通过集中参数服务器进行更新，该服务器保持 模型所有参数的当前状态，在多个 机器（例如，如果我们有10个参数服务器碎片，则每个碎片都是 负责存储和应用模型1/10的更新 参数（图2）