Machine learning 谷歌云上带有GPU的Tensorflow

我有一个使用tensorflow的Google机器学习模型，它还可以。 现在我想用GPU做一些预测。 我看到了这个，但它讲述的是使用GPU进行训练，而不是预测。在预测会话中没有关于GPU的内容

有人知道使用谷歌机器学习引擎和GPU进行预测是否可行吗？或者如果我使用GPU训练，我的预测会自动运行GPU吗

我正在使用以下命令行：

gcloud ml-engine predict --model ${MODEL_NAME} --json-instances request.json

这个命令可以工作，但它使用的是CPU。

---

附加信息：我的模型在us-east1区域发布，我的比例自动调整。

此网站提供一些信息：

---

然而，这是一种完全不同的训练和预测方式。他们提供了对其服务基础设施进行培训和预测的手段。您只需使用Tensorflow程序构建模型，然后将其硬件与云SDK一起使用。因此，无论它是在CPU上运行还是在GPU上运行，它都不会打扰您。

您不能选择在ml引擎中使用GPU进行预测。目前还不清楚他们是否默认使用GPU——我会链接到文档，但没有可用的

然而，我确信他们没有使用TPU。目前，谷歌仅将TPU用于内部服务；尽管他们已经创建了一个TPU云，专门供研究人员进行试验：

如果你想更多地控制你的预测是如何运行的，以同样的价格，你可以配置一个谷歌计算引擎和一个高性能的特斯拉K80 GPU。您的Tensorflow模型也将在那里工作，而且设置起来非常简单

---

我的建议是使用您的GCE实例进行基准预测，然后将它们与ml引擎进行比较。若ml引擎比GCE更快，那个么Google可能正在使用GPU进行预测。当然，他们的目标是在未来提供GPU和TPU作为ml引擎，但这些天的需求使HPC云超载。

默认情况下，GCP ml引擎上的在线预测使用具有高延迟的单核CPU。如果它符合您的要求，您可以使用四核CPU，它提供更快的预测。为了使用它，您必须为在ML引擎上创建模型版本的预测指定CPU类型。链接到文档：。

我们现在支持GPU。文档

例如：

gcloud beta ai-platform versions create version_name \
  --model model_name \
  --origin gs://model-directory-uri \
  --runtime-version 2.1 \
  --python-version 3.7 \
  --framework tensorflow \
  --machine-type n1-standard-4 \
  --accelerator count=1,type=nvidia-tesla-t4 \
  --config config.yaml

如果在模型版本中使用计算引擎（N1）机器类型之一，则可以选择添加GPU以加速每个预测节点

• 英伟达特斯拉K80
• 英伟达特斯拉P4
• 英伟达特斯拉P100
• 英伟达特斯拉T4
• 英伟达特斯拉V100

---

从Tensorflow的角度来看，培训和推理几乎是一回事。没有特殊的训练模式——你只需要运行一个稍微不同的图表。如果您可以运行培训，那么您可以在同一台机器上运行推理。谢谢Peter，我没有说明这一点，但我正在使用以下命令：gcloud ml engine predict--model${model_NAME}--json instances${MY_json}我想用这个命令在GPU上运行predict。我该怎么做？这是我的疑问……也许我大错特错了，但是

gcloud ml引擎预测-运行云ml引擎在线预测

。你好像在网上运行这个。谷歌在其服务器中使用TPU（张量处理单元）。不确定“用GPU运行”在这种情况下是否有意义。是的，我在网上运行，我也不知道它是否有意义。现在，我正在用GPU训练我的模型，我将尝试进行在线预测，以确定是否有可能使用GPU。是的，这是我在回答中的链接（特定于训练部分）。本节介绍如何使用GPU进行训练，但在预测部分没有关于GPU的内容。我读了很多关于这方面的文章，也许@Cort3z是对的（ml引擎预测与TPU一起运行）谢谢你！这就是我想做的！我读了很多关于这个主题的文章，也给谷歌团队发了电子邮件。我会像你说的那样进行测试。