Amazon web services AWS Sagemaker init 1K+；模型“；端点“；？

在假设模型训练本身非常快的情况下，我想知道什么是启动~>1K个模型端点的最佳实践 尽可能快

谢谢你的提示

---

Christian

假设这些是不同的模型（不是用于测试的生产变体），那么每个模型需要一个端点，因此需要一个SageMaker实例。可能不是最好的选择（成本、启动实例的时间、同步调用、API节流等）。目前，我会使用另一种服务来部署，例如ECS集群

您能告诉我更多关于您的用例（业务问题、框架、模型大小等）的信息吗？您不是第一个询问此功能的人，您的反馈对于构建最佳解决方案非常有价值

---

朱利安（AWS）

谢谢，我觉得这很难看。用例是“简单的”，假设我们有不同客户（最多100个）和产品（最多500个）的数据，基于此，我们希望生成线性模型，但以后可能会更高级。首先，它的计算量并不是很大，我们喜欢使用带有API网关和Lambda的端点的无服务器思想。期待您的推荐。据我所知，每个端点都是一个正在运行和收费的实例，对吗？让一个定制的docker容器如文档中所述，将所有模型注入其中，并将该容器用作一个带有参数化端点的推理引擎，怎么样。只是一个想法？谢谢你提供用例的详细信息。我会把它们传给SageMaker团队。没错，每个端点都是一个实例。你的解决方案可以奏效。线性模型通常非常小，因此可以将它们打包到单个容器中，然后选择要使用参数调用的模型。也就是说，每次调整模型时都必须重新部署容器（如果您同时对它们进行训练，可能不会有问题）。随着您的模型越来越大，容器大小和RAM使用可能会成为一个问题。。。我们确实需要建立一个更好的方式：）感谢您的快速参与！如果有一个部署实例具有某种类型的模型工厂（N个模型），并且能够通过端点（配置）调用特定的模型，那就太酷了。多年来，我一直致力于模型工厂的需求，我想这对许多客户来说都很有趣。团队肯定会对此进行调查：）