Tensorflow Bfloat16 GPU培训

嗨，我正在尝试使用新的bfloat16数据类型变量训练模型。我知道谷歌TPU支持这一点。我想知道是否有人尝试过使用GPU（例如GTX 1080 Ti）进行培训。无论GPU张量内核是否支持，这是否可能？如果有人有任何经验，请分享你的想法。

---

非常感谢

我已经在Tensorflow github社区发布了这个问题。以下是他们到目前为止的反应- " 对于GPU，bfloat16支持不完整，因为设备本身不支持它

为了提高性能，您需要使用float32或float16执行GPU（尽管float16可能很难训练模型）。TPU有效地支持bfloat16执行所有操作（但您目前必须迁移模型才能在TPU上工作）。

---

“

Hi@ranjit，发布此问答8个月后，您在这方面的经验如何？嗨，Leo，我一直在TPU工作。要使GPU使用bf16格式，需要大量低级代码更改，这太复杂了。