C# Tensorflow—逐步将模型引入生产力环境

目前，我不知道如何将经过培训的模型应用到生产环境中

我确实在媒体上读过这篇文章：

他们说他们使用tensorflow服务于api c++

如果我理解正确的话，它就像一个本地服务器，在我的本地系统上加载一个模型，可以通过一个支持gRPC的客户端（不管是哪种编程语言）访问。瞧，我有我的预测。。。是这样吗

假设我有一个C#/.Net环境，我想在电影中进行一些预测，我是否“仅仅”使用gRPC协议和tensorflow服务API

是否有其他可能将我的训练有素的模型引入到生产环境中？你的步骤是什么？感谢您的帮助和建议！

---

谢谢

使用经过训练的模型有很多方法

gRPC到tensorflow服务是一种方式。您可以在几乎任何语言/平台上使用它们，这很好，但是设置有点繁琐，因为您需要启动另一个过程。如果您在许多机器上运行，并且不想在每台机器上加载模型，或者您已经有了一些分布式系统，那么这可能是有利的

另一种方法是编写一个小的C++包装库，在C语言应用程序中链接。优点是模型现在在流程内部运行。您还可以传递自定义类，而不用担心gRPC。我认为没有TysFooad的C API，所以不幸的是，你必须写一些C++。 如果你想全力以赴，你可以把训练过的模型的权重转储出来，自己应用到你的应用程序中。对于小型模型，这可能会为您提供最好的性能，因为您绕过了tensorflow检查/线程/等等。尽管它相当脆弱（模型结构中的任何更改都必须反映在代码中，否则一切都不起作用）。对于较大的模型，计算速度将是主要因素，因此这种方法不值得

---

在任何情况下，最重要的部分是确保您提供的输入与您培训模型的内容一致。如果您执行任何处理步骤，则训练和推理的步骤必须相同。

除了使用tensorflow服务外，还有一些API可将您的模型直接集成到您的程序中。可以找到C#的API。您可能还会找到一些有用的指向线程上其他c#示例的指针

---

在应用程序中使用该模型的基本步骤对于任何API都是相同的。首先，使用freeze_graph函数将经过训练的模型导出到.pb文件中。在应用程序中，定义一个新的图形，从文件中读取其定义，启动与它的会话，然后馈送并运行它。C#中的代码示例可以在我上面链接的API自述文件中找到。困难的部分通常是要解决如何将输入转换成表单TysFooSCAN汉德尔。

你说小C++包装的意思是写我自己对我的模型的解释（原BuffF文件）使用C++ C++的接口，或者你的意思是什么？@ USER848099，我的意思是你使用C++的ToSoFraseAPI来加载模型，为C程序提供一个更简单的接口，并使用该接口和TysFraceAPI所需的映射。你建议的c#api可能会工作，但我以前没有尝试过。谢谢链接！如果你给我这样的链接，我想你已经做了这样的事情。也许你可以告诉我需要哪些部分或步骤才能将我的模型集成到我的程序中，这样我才能得到一些预测。请保持专业语调。