Python 3.x Tensorflow目标检测模型的部署和服务预测

我在谷歌云平台的ML引擎上部署了一个Tensorflow对象检测模型。我曾建议Tensorflow服务+Docker以获得更好的性能。我是Tensorflow的新手，想知道什么是服务于预测的最佳方式。目前，ml引擎在线预测的延迟时间大于50秒。我的用例是用户使用移动应用程序上传图片，并根据预测结果获得合适的响应。因此，我预计预测延迟将下降到2-3秒。我还能做些什么来加快预测速度？

谷歌云ML引擎最近发布了对在线预测（Alpha）的GPU支持。我相信我们的产品可以提供您所期望的性能改进。您可以在这里注册：

在GPU机器上托管您的模型，您可能会获得更快的推理速度。我不是100%确定，但我不认为这是目前可能的最大似然引擎。使用TensorFlow服务，您可以做到这一点，例如，如果您将模型托管在kubernetes集群中。