Python 与keras h5模型（VGG16预训练）相比，Tensorflow lite模型推断速度非常慢

与keras（h5）模型相比，Tensorflow lite模型的预测速度非常慢。Colab和Windows 10系统上的行为类似。我将标准VGG16模型转换为tflite，包括优化和未优化（converter.optimizations=[tf.lite.Optimize.DEFAULT]）

以下是我得到的结果：

• Keras模型（540MB）预测时间：0.14秒
• 无优化的tflite（540MB）预测时间：0.5秒
• tflite优化（135MB）预测时间：39秒

我是不是遗漏了什么？tflite不是应该针对速度进行优化吗？在Raspberry Pi或其他“更轻”的设备上，行为会有所不同吗

---

TensorFlow Lite没有针对桌面/服务器进行优化，因此它在这些环境中的大多数机型上表现不佳也就不足为奇了。TFLite的优化内核（包括许多GEMM操作）特别适合移动CPU（它们没有与桌面CPU IIUC相同的指令集）

标准TensorFlow更适合您的用例