是否有使用多节点多GPU进行分布式TensorFlow训练的示例？

通过在Google上搜索，我可以找到关于tensorflow培训的以下两种部署类型：

• 在单个节点和多个GPU上进行培训，例如：
• 在多个节点上进行分布式培训，例如：

有没有使用多节点多GPU的例子？具体而言，存在两种平行度：

在第一级，参数服务器和工作节点分布在不同的节点上

在第二级，单个机器上的每个工人将使用多个GPU进行培训

---

GitHub（）上的Tensorflow初始模型文档对不同类型的培训有很好的解释，请务必查看它及其源代码

另外，你可以看看这个，它也以稍微不同的方式分配训练