Tensorflow 使用AWS弹性推理而不更改客户端代码
我在SageMaker中部署了一个带有Tensorflow模型的端点,我使用Scala SDK调用它,如下所示:Tensorflow 使用AWS弹性推理而不更改客户端代码,tensorflow,amazon-sagemaker,Tensorflow,Amazon Sagemaker,我在SageMaker中部署了一个带有Tensorflow模型的端点,我使用Scala SDK调用它,如下所示: runtime = AmazonSageMakerRuntimeClientBuilder .standard() .withCredentials(credentialsProvider) .build() ... val invokeEndpointResult = runtime.invokeEndpoint(
runtime = AmazonSageMakerRuntimeClientBuilder
.standard()
.withCredentials(credentialsProvider)
.build()
...
val invokeEndpointResult = runtime.invokeEndpoint(request);
我是否可以使用Sagemaker的Elastic Inferece来处理此代码,并获得EI的性能增强?
我尝试过运行配置为8 ml.m5d.xlarge实例的端点,而运行配置为8 ml.m5d.xlarge实例的端点时,添加了EI为ml.eia2.xlarge的端点,但是查看cloud watch指标,我得到的每分钟调用次数相同,总运行时间(在相同的输入上)也相同 从我最初的尝试来看,性能似乎没有提高,甚至有一点下降。从我最初的尝试来看,性能似乎没有提高,甚至有一点下降。