使用NVIDIA TensorRT推理引擎运行Tensorflow

我想使用NVIDIA TensorRT运行我的Tensorflow模型。目前，TensorRT支持Caffe prototxt网络描述符文件

---

我找不到将Tensorflow模型转换为Caffe模型的源代码。有什么解决办法吗？

TensorRT 3.0支持通过其UFF（通用框架格式）导入/转换TensorFlow图。缺少某些层实现，需要通过IPlugin接口进行自定义实现

以前的版本不支持TensorFlow模型/检查点的本机导入

您还可以将图层/网络描述导出到您自己的中间格式（例如文本文件）中，然后使用TysRoS+C++ API构造推理图。您必须单独导出卷积权重/偏差。确保注意重量格式-TensorFlow使用NHWC，而TensorRT使用NCHW。对于权重，TF使用RSCK（[filter_height，filter_width，input_depth，output_depth]），TensorRT使用KCR

有关张量格式的扩展讨论，请参见本文：

此外，此链接还提供有用的相关信息：

---

由于新的TensorRT 3增加了对TensorFlow的支持，目前不需要任何解决办法。

我了解到TensorFlow 1.7+支持TensorRT。这意味着你需要合适的硬件