Docker Kubernetes：一种手动将流量路由到不同副本的方法

我有一个容器（一个机器学习应用程序），它能够加载存储在持久卷中的预先训练的ml模型。我可以要求应用程序通过RESTAPI提供其名称来加载特定模型

现在我想扩展这个应用程序，这样我就可以在任何副本（不是所有副本）中加载任何模型，并且应该能够解析来自该模型的数据

我知道这可以通过让多个部署和多个服务指向每个部署来实现，这样每个实例都有一个单独的节点端口，我可以通过这些不同的节点端口访问每个实例的REST API。通过这样做，我可以在自己的实例中记录加载了哪个模型

---

是否有任何推荐的方法可以在不进行多个部署的情况下通过副本来实现此要求？（就像在服务级别维护带有副本的单个部署文件和手动负载平衡器）

如您所述，实现这一点的首选方法是通过多个部署和服务

除非手动创建复制集，否则复制集由部署管理，您将无法使用运行不同版本的多个复制集进行单个部署

对于您来说，每个版本有一个服务+部署，前面有一个入口，根据某些信息路由流量，这肯定会更容易。它可以是头、子域、路径等

---

要生成所有部署和服务，您可以查看。

您问的是，是否可以使用一个部署和多个POD，是否要手动平衡这些POD的流量？是的。需要手动负载平衡流量，因为加载到不同实例上的模型不同。如果您有一个服务，并且您向它发送了一个请求，它如何知道向何处发送？您可能需要自己构建这个路由层。