Tensorflow TensorRT/TFlite示例实现

Tensorflow TensorRT/TFlite示例实现,tensorflow,optimization,keras,tensorrt,Tensorflow,Optimization,Keras,Tensorrt,拥有经过培训的“.h5”Keras模型文件,我正在尝试优化推理时间: 探索了两种选择: 基于TensorRT的加速推理 “int8”量化 此时,我可以将模型文件转换为TensorFlow protobuf“.pb”格式,但作为旁注,它还包含少数层的自定义对象 我看过一些关于TensorRT转换和TFLite转换的文章,但我似乎没有找到一个清晰的健壮实现。有人能解释一下如何使用相同的模型进行更快的推断(TFLite/Keras量化或TensorRT) (开放获取其他建议,以提高TensorFlow

拥有经过培训的“.h5”Keras模型文件,我正在尝试优化推理时间:

探索了两种选择:

  • 基于TensorRT的加速推理
  • “int8”量化
  • 此时,我可以将模型文件转换为TensorFlow protobuf“.pb”格式,但作为旁注,它还包含少数层的自定义对象

    我看过一些关于TensorRT转换和TFLite转换的文章,但我似乎没有找到一个清晰的健壮实现。有人能解释一下如何使用相同的模型进行更快的推断(TFLite/Keras量化或TensorRT)


    (开放获取其他建议,以提高TensorFlow和Keras支持的推理速度)

    这是关于如何在TF中使用TensorRT的用户指南:

    本讲座解释了TensorRT在TF中的工作原理:

    请注意,TensorRT还支持INT8量化(在培训期间或培训后)

    这篇博文也有类似的内容:


    此存储库有一系列示例演示如何使用它:

    谢谢。但这些都是我在问题中提到的文章。这些似乎都不是实现TRT的简单解释。