Memory 三维深度学习模型（pytorch）的高效推理

我试图使用Pytork 3D UNet进行推断（从这里：），它接收大小为（96，96，96）的图像。我想在CPU实例上使用它，但我得到了非常高的内存使用率（~18GB）。在研究这个问题之后，我发现这是由于卷积在CPU上的实现方式（参见）。因此，我有以下问题：

在Pytorch中有没有一种更有效的卷积实现方法

如何优化我的CPU推理模型？我看到一些工具，如AWS Neo、Intel OpenVINO等存在；他们能解决我的问题吗

Tensorflow在CPU上使用卷积时也有类似的问题吗

欢迎提供关于如何高效部署此类模型的任何其他提示和链接

---

谢谢

您可以使用测试模型的性能，并为您的应用程序和硬件选择最佳的推理引擎。您可能需要首先将模型转换为。

您可以使用测试模型的性能，并为您的应用程序和硬件选择最佳的推理引擎。您可能需要首先将模型转换为。

所说的“部署”是指培训，还是仅包括推理？讨论似乎在谈论前者，在这种情况下，我认为标题可能有点误导。如果只是为了推理，请确保不要盯着任何激活，并使用评估模式。只有推理，我已经修改了标题和描述，使其更加清晰！“凝视”激活是什么意思？我使用eval模式和torch.no_grad（）。就是那个；-）

torch.no_grad（）

经常被忽略，而您的问题以前没有说明过。谢谢你的澄清！你所说的“部署”是指培训，还是仅仅包括推理？讨论似乎在谈论前者，在这种情况下，我认为标题可能有点误导。如果只是为了推理，请确保不要盯着任何激活，并使用评估模式。只有推理，我已经修改了标题和描述，使其更加清晰！“凝视”激活是什么意思？我使用eval模式和torch.no_grad（）。就是那个；-）

torch.no_grad（）

经常被忽略，而您的问题以前没有说明过。谢谢你的澄清！