Tensorflow TensorRT/TFlite示例实现
拥有经过培训的“.h5”Keras模型文件,我正在尝试优化推理时间: 探索了两种选择:Tensorflow TensorRT/TFlite示例实现,tensorflow,optimization,keras,tensorrt,Tensorflow,Optimization,Keras,Tensorrt,拥有经过培训的“.h5”Keras模型文件,我正在尝试优化推理时间: 探索了两种选择: 基于TensorRT的加速推理 “int8”量化 此时,我可以将模型文件转换为TensorFlow protobuf“.pb”格式,但作为旁注,它还包含少数层的自定义对象 我看过一些关于TensorRT转换和TFLite转换的文章,但我似乎没有找到一个清晰的健壮实现。有人能解释一下如何使用相同的模型进行更快的推断(TFLite/Keras量化或TensorRT) (开放获取其他建议,以提高TensorFlow
(开放获取其他建议,以提高TensorFlow和Keras支持的推理速度)这是关于如何在TF中使用TensorRT的用户指南: 本讲座解释了TensorRT在TF中的工作原理: 请注意,TensorRT还支持INT8量化(在培训期间或培训后) 这篇博文也有类似的内容:
此存储库有一系列示例演示如何使用它:谢谢。但这些都是我在问题中提到的文章。这些似乎都不是实现TRT的简单解释。