Tensorflow 混合tf.keras.mixed_精度是否适用于推理？

我不确定我是否理解tensorflow keras的概念。我的目标是使用浮点16精度运行

tf.keras

模型，以提高推理速度。这能以混合精度完成吗

我在培训我的模特之前制定了以下政策：

来自tensorflow.keras.mixed_precision导入实验作为mixed_precision
policy=mixed\u precision.policy（'mixed\u float16'））
混合精度。设置策略（策略）

或者这只是为了加速训练。如果是这种情况，我如何实现tf.keras模型的权重/激活以达到FP16精度

---

注意：我使用的是

tensorflow==2.3.0

正如您提到的链接一样，训练的精度参差不齐。 Nvidia提供了更深入的信息，这意味着：

本文描述了实际过程，以及FP32中FP16砝码的副本作为主砝码（因此精度混合）的方式和原因。

但硬件中也存在混合精度运算，当数据为FP32且权重/偏差为FP16时，这些运算可以加快推理速度，而硬件支持混合精度运算，这可以大大加快推理速度

例如，对于Nvidia T4，我在YOL3上的加速比为~2，但在Nvidia 1080上没有加速比