Amazon web services 在云端生产上提供人工智能模型,如何最大限度地降低成本?

Amazon web services 在云端生产上提供人工智能模型,如何最大限度地降低成本?,amazon-web-services,deep-learning,Amazon Web Services,Deep Learning,我使用的是人工智能模型(全景分割FPN R101,但也可以是任何其他模型),需要将其部署在云端,作为应用程序的服务使用。 目前,我在AWS上的EC2实例上托管它,但租用一个带有GPU的实例(p2实例)非常昂贵。我必须让它一直运行,即使模型没有被使用。此外,如果有高负载的使用,服务将很容易降级,因为它一次只能处理一个请求。 在AWS或任何其他服务上,是否有任何替代方案可以让您使用AI模型进行按使用付费的推断? 感谢您,AWS sagemaker最适合部署AI模型 AWS sagemaker支持自动

我使用的是人工智能模型(全景分割FPN R101,但也可以是任何其他模型),需要将其部署在云端,作为应用程序的服务使用。 目前,我在AWS上的EC2实例上托管它,但租用一个带有GPU的实例(p2实例)非常昂贵。我必须让它一直运行,即使模型没有被使用。此外,如果有高负载的使用,服务将很容易降级,因为它一次只能处理一个请求。 在AWS或任何其他服务上,是否有任何替代方案可以让您使用AI模型进行按使用付费的推断?
感谢您,AWS sagemaker最适合部署AI模型

AWS sagemaker支持自动缩放以帮助您缩放应用程序


如果不需要GPU,lambda也是一个选项

是的,我一直在读有关它的文章。我不确定的是,如果AWS sagemaker不使用模型,它是否会向您收取任何费用,以及加载和使用它需要多长时间。我的意思是,这真的是一种实时点播服务的选择吗?