Tensorflow 如何将TRT优化模型转换为保存的模型？

我想将TRT优化的冻结模型转换为tensorflow服务的保存模型。有什么建议或来源可以分享吗

或者在tensorflow服务中部署TRT优化模型还有其他方法吗

---

谢谢。

假设您有一个TRT优化模型（即该模型已在UFF中表示），您只需按照此处概述的步骤操作即可：。请特别注意第3.3节和第3.4节，因为在这些节中，您实际上构建了TRT引擎，然后将其保存到一个文件中供以后使用。从那时起，您可以重新使用序列化引擎（aka.a计划文件）进行推理

基本上，工作流是这样的：

在TensorFlow中建立/训练模型

冻结模型（得到protobuf表示）

将模型转换为UFF，以便TensorRT能够理解它

使用UFF表示构建TensorRT引擎

序列化引擎并将其保存到计划文件中

一旦完成了这些步骤（在我提供的链接中应该有足够的示例代码），就可以加载计划文件并反复使用它进行推理操作

---

如果您仍然被卡住，这里默认安装了一个很好的示例：

/usr/src/tensorrt/samples/python/end\u to\u end\u tensorflow\u mnist

。您应该能够使用该示例了解如何获得UFF格式。然后，您可以将其与我提供的链接中的示例代码结合起来。

Hi.。请花时间阅读，看看这个答案可能会对您寻找实现有所帮助：谢谢您的重播。但你似乎误解了我的需要。TunSoFrices服务是一个基于C++的运行的TooSoFalm模型。并且它只支持保存的模型格式。但TRT优化模型是冻结格式。我只是想知道如何将TRT模型转换为保存的模型，然后可以加载到tensorflow服务中。