Machine learning 谷歌云平台-在线预测的高延迟

我在谷歌云平台（机器学习引擎）中部署了一个基于随机森林的模型，以获得在线预测。当我使用使用GoogleAPI客户端库的API调用API时，通常需要15秒左右才能得到响应（只有一个实例）。当我尝试使用大约15个实例时，获得响应的时间增加到2分钟以上。当第一次出现此问题时，我们将minnode配置为1，以确保始终有一个节点准备就绪。然而，这并没有解决我的问题

我试图在谷歌文档中找到一个解决方案，但这并不是很清楚。例如，我已经激活了控制台日志（-enable console logging），但是我看不到任何日志

如果您能提出任何改进我的模型的建议，我将不胜感激

以下是用于部署模型的命令：

gcloud beta ai-platform models create $MODEL_NAME \
  --regions $REGION \
  --enable-console-logging

gcloud alpha ai-platform versions create $VERSION_NAME \
  --log-http \
  --model $MODEL_NAME \
  --runtime-version 1.15 \
  --python-version "3.7" \
  --origin gs:/$patch_custom/ \
  --package-uris gs:/$patch_custom/ML_MODEL_RAR-0.0.tar.gz \
  --prediction-class AQ_Service.predictor.rf_predictor \
  --machine-type mls1-c4-m4 \
  --config CONFIG.YAML
  */

CONFIG.YAML：

  autoScaling:
    minNodes: 1  # The minimum number of nodes to allocate for this model.

注意：它使用机器类型mls1-c4-m4，因为这是解决模型尺寸问题的唯一方法，而不使用其他仅支持TensorFlow的机器

类似问题：H3P04

从表面上看，很难说HTTP请求/响应的延迟是多少，模型做预测的延迟是多少。如果HTTP部分为0，则可以预期15s*15=3.75分钟。看来2分钟后你的表现还不错

---

通过使用更快的计算硬件，您可以进一步减少延迟。这里有一个指向谷歌文档的链接：

要可视化日志，请在StackDriver>Logging>中选择Global和您的日志名，如果您想查看模型日志，您应该能够选择Cloud ML模型版本。查看此帖子：，您使用的是什么框架？您是否在本地使用同一型号进行了尝试，并确认您确实获得了良好的结果？非常感谢，现在我可以看到日志了。我已经复制了这些问题。一个实例可以正常工作，但是同时使用大约10个实例大约需要2分钟。是的，我已经在本地进行了测试，工作正常。关于这个问题，应该通知什么类型的日志？它不报告任何严重错误，只报告信息类型。