Python “tf.distribute.MirroredStrategy”对培训结果有影响吗？

我不明白镜像策略是否对培训结果有任何影响

我的意思是：在单个设备上训练的模型与在多个设备上训练的模型相同吗

---

我认为它应该是相同的模型，因为它只是梯度的分布式计算，不是吗？

是的，在单个GPU和多个GPU（在一台机器上）上训练的模型是相同的。也就是说，根据文档，模型中的变量位于所有GPU上。

谢谢！我是否也正确地假设以异步方式训练，得到的模型不同于以非并行方式训练的模型？根据你训练的内容，结果可能会有微小的变化，但这更多地与熵有关，而不是任何东西。在大多数情况下，您应该获得相同或接近相同的结果。