Azure 目标检测模型-tensorflow服务-k8s部署：耗时3-4秒

我有一个TensorFlow对象检测模型，与TensorFlow一起服务，并部署到Azure Kubernetes集群中。我使用过Nvidia K80 GPU设备，TensorFlow/serving:1.12.3:GPU版本

该模型已正确部署和响应，但响应时间非常长，对于500*375-135 KB的图像，响应时间为3-4秒

---

有人能帮我了解哪些地方可以改进吗？

如果此图像是第一个预测请求，这是正常情况。您可能需要一个预热请求。

我用20幅图像进行了测试，平均响应时间为2-3秒。