Python Sagemaker:部署时存在弹性推理问题

Python Sagemaker:部署时存在弹性推理问题,python,amazon-web-services,tensorflow,deployment,amazon-sagemaker,Python,Amazon Web Services,Tensorflow,Deployment,Amazon Sagemaker,使用sagemaker python sdk执行部署代码到sagemaker时,我得到的错误如下: UnexpectedStatusException: Error hosting endpoint tensorflow-inference-eia-XXXX-XX-XX-XX-XX-XX-XXX: Failed. Reason: The image '763104351884.dkr.ecr.us-east-1.amazonaws.com/tensorflow-inference-eia:1.

使用sagemaker python sdk执行部署代码到sagemaker时,我得到的错误如下:

UnexpectedStatusException: Error hosting endpoint tensorflow-inference-eia-XXXX-XX-XX-XX-XX-XX-XXX: 
Failed. Reason: The image '763104351884.dkr.ecr.us-east-1.amazonaws.com/tensorflow-inference-eia:1.14 
-gpu' does not exist..
我用于部署的代码如下所示:

predictor = model.deploy(initial_instance_count=1,
                         instance_type='ml.p2.xlarge', accelerator_type='ml.eia1.medium')
如果我删除
accelerator\u type
参数,那么部署端点时不会出现错误。你知道为什么会这样吗?Sagemaker似乎指的是不存在的图像。我该如何解决这个问题

此外,我还确保从这里支持该版本:'。我在TensorFlow上:1.14

编辑: 事实证明,这是可行的:

所以,我猜弹性推理不适用于GPU实例

注意:我部署端点的所有实例都没有使用GPU。(如果您熟悉或已经成功,请提出一些想法。)


弹性推理加速器(EIA)旨在连接到CPU端点。

这不是一个新问题。我不知道您的特定设置的确切问题,因为有几个移动部件我看不到,但这可能会帮助您Hi@MatusDubrava,谢谢您的回复。我已经检查了你提供的链接。问题是,如果我不提及
加速器类型
参数,我就可以成功部署端点。该链接主要关注
实例类型
参数。我愿意尝试其他东西,有什么建议吗?如果你在GPU实例上运行,为什么要添加弹性接口?GPU已经提供了你所需要的加速。@Guy,嘿,谢谢你的回复。在我将模型部署到端点之后,我发现推断没有使用GPU。所以,我想用弹性推理来检验这一点。有什么想法吗?@Pramesbajracharya,从你的问题编辑看来,当你将弹性接口连接到基于CPU的机器(例如M4)上时,你成功地让它工作了。对吗?
predictor = model.deploy(initial_instance_count=1,
                         instance_type='ml.m4.xlarge', accelerator_type='ml.eia1.medium')