使用多个GPU的多台机器上的TensorFlow？

我是机器学习和Tensorflow的新手。我有一个关于TensorFlow中分布式训练的问题。我读过关于多GPU环境的书，看起来这是很有可能的（）

但是多台机器有多个GPU呢？是否可以在几台机器之间划分机器训练任务？是否有特定的算法/任务，需要这样的分布或多个GPU就足以进行机器学习？会有需求吗

谢谢，这是可能的

您可以在多台计算机上运行相同的模型，使用数据并行或加快培训速度。在这种情况下，您将在多台计算机上运行相同的模型，以模拟更大的批处理

---

您也可以采用稍微不太传统的方法，使用或跨多台机器拆分单个模型，以增加模型层的数量，甚至跨多个工人拆分单个层。

当然这是可能的。您必须连接计算机（套接字连接）并创建不同的工作类。另外，创建一个将工作分配给工人的主类（例如，培训的前20%分配给一台工人机器，下20%分配给下一台工人机器等等）。您的工人应该在每台机器中使用相同的代码，并且应该对他们进行参数化。