Python 3.x 不使用Tensorflow服务的GCP中Tensorflow模型部署

机器学习模型：基于Tensorflow（1.9版）和Python 3.6版

数据输入：来自Bigquery

数据输出：到Bigquery

生产预测频率：每月

我开发了一个基于Tensorflow的机器学习模型。我已经在本地对其进行了培训，并希望将其部署到谷歌云平台进行预测

该模型从GoogleBigQuery读取输入数据，输出预测必须写入GoogleBigQuery。在运行模型预测之前，必须运行一些数据准备脚本。目前我无法在生产中使用BigQueryML，因为它处于测试阶段。此外，由于这是一个批量预测，我不认为Tensorflow服务将是一个好的选择

我尝试过的部署策略：

使用谷歌ML引擎进行预测：这种方法在地面军事系统上创建输出零件文件。这些必须合并并写入Google Bigquery。因此，在这种方法中，我必须启动一个VM来执行数据准备脚本，并将ML引擎输出到GoogleBigQuery脚本。仅在一个月内运行两个脚本，这就增加了全天候的虚拟机成本

将数据流与Google ML引擎一起用于数据准备脚本执行：数据流使用python 2.7，而模型是在Tensorflow 1.9版和python 3.6版中开发的。因此，不能使用这种方法

谷歌应用程序引擎：使用这种方法，必须开发一个完整的web应用程序，以服务于预测。由于预测是成批进行的，因此这种方法不适用。此外，flask/django必须与代码集成才能使用它

Google Compute Engine：使用这种方法，虚拟机将全天候运行，只用于运行每月预测和两个脚本。这将导致大量的成本管理费用

---

我想知道Tensorflow模型的最佳部署方法是什么，它有一些预处理和后处理脚本。

关于选项3，Dataflow可以从BigQuery读取数据，并在作业结束时将准备好的数据存储在BigQuery中

然后您可以使用Tensorflow从BigQuery获取数据

---

另一个你可以使用的是，这是一个笔记本，你可以在其中准备你的数据，然后用它进行预测

我也不觉得这个流程简单直观。有两个新的更新可能对您的项目有所帮助：

• BigQueryML现在允许您导入TensorFlow模型——有一些限制，但这可能会消除BQ和云存储或其他环境之间的一些来回数据移动
• 云数据流支持alpha中的Python 3（查看ApacheBeam路线图-）