TensorFlow服务集群体系结构

各位，我正在编写一个应用程序，它将根据ML模型调用生成建议。应用程序将有不同的模型，其中一些模型应按顺序调用。数据科学家应该能够在系统中上传模型。这意味着应用程序应该具有存储模型元数据以及模型服务器地址的逻辑。模型服务器将在模型上载事件上动态实例化。 我想在这里使用一个TensorFlow集群，但是我有一个架构问题。

---

有没有办法为TensorFlow服务器提供类似service registry的服务？构建这样一个具有不同型号的服务器集群的最佳方法是什么？

我需要一些关于您尝试做什么的说明。所有模型的特征向量是否相同？如果不是这样，那么要做到这一点就要困难得多。经过训练的模型以SavedModel格式封装。听起来你想训练一个合奏，但有些模特被冻结了？如果您需要的话，您当然可以编写一个自定义组件来提出推断请求，作为培训师输入的一部分

更新1

---

从您下面的评论中，听起来您可能正在寻找的是一个服务网格，例如Istio。这将有助于管理容器中运行的服务之间的连接，以及用户和服务之间的连接。在本例中，运行模型的tf.service实例就是服务，但基本的请求-响应模式是相同的。这有帮助吗？

我需要澄清一下你想做什么。所有模型的特征向量是否相同？如果不是这样，那么要做到这一点就要困难得多。经过训练的模型以SavedModel格式封装。听起来你想训练一个合奏，但有些模特被冻结了？如果您需要的话，您当然可以编写一个自定义组件来提出推断请求，作为培训师输入的一部分

更新1

---

从您下面的评论中，听起来您可能正在寻找的是一个服务网格，例如Istio。这将有助于管理容器中运行的服务之间的连接，以及用户和服务之间的连接。在本例中，运行模型的tf.service实例就是服务，但基本的请求-响应模式是相同的。那有用吗？

谢谢。我只想集中讨论模型部署过程。让我们假设数据科学管道的输出总是新模型，由TF服务器在单独的Docker容器中提供服务。该容器将与其他不同的模型容器一起部署在我们的集群中。接下来，考虑到模型容器的预定义路径不存在，系统应该知道该模型，它充当用户和模型之间的中间人。是否有一种良好的实践来构建这样的应用程序，例如服务注册、使用八卦协议？谢谢你，Robert。是的，我想那是正确的方法。谢谢。我只想集中讨论模型部署过程。让我们假设数据科学管道的输出总是新模型，由TF服务器在单独的Docker容器中提供服务。该容器将与其他不同的模型容器一起部署在我们的集群中。接下来，考虑到模型容器的预定义路径不存在，系统应该知道该模型，它充当用户和模型之间的中间人。是否有一种良好的实践来构建这样的应用程序，例如服务注册、使用八卦协议？谢谢你，Robert。是的，我认为这是正确的方法。