Google cloud platform 如何在谷歌云中使用经过训练的模型自动进行预测

Google cloud platform 如何在谷歌云中使用经过训练的模型自动进行预测,google-cloud-platform,google-bigquery,google-cloud-dataflow,google-cloud-composer,Google Cloud Platform,Google Bigquery,Google Cloud Dataflow,Google Cloud Composer,我有Firestore中一个web用户的数据 为了运行机器学习模型,我在GoogleBigQuery中插入了一些数据 我有训练机器学习模型的经验,但我没有在训练模型后获得新数据预测的经验 我已经读到,我可以将这个经过训练的模型上传到谷歌云存储中,然后将其放到人工智能平台中,但我不知道我必须遵循的流程,因为新数据将被插入Bigquery中,我想用这些新数据进行预测,然后选择这些预测,然后再将它们放在Firstore中 我认为这可以通过Dataflow Apache Beam或Data compos

我有Firestore中一个web用户的数据

为了运行机器学习模型,我在GoogleBigQuery中插入了一些数据

我有训练机器学习模型的经验,但我没有在训练模型后获得新数据预测的经验

我已经读到,我可以将这个经过训练的模型上传到谷歌云存储中,然后将其放到人工智能平台中,但我不知道我必须遵循的流程,因为新数据将被插入Bigquery中,我想用这些新数据进行预测,然后选择这些预测,然后再将它们放在Firstore中

我认为这可以通过Dataflow Apache Beam或Data composer Airflow来完成,在那里我可以自动化这个过程,并安排它每周运行所有的过程,但我没有使用这种技术的经验,有人能推荐我哪种技术更适合这个特定案例来查找如何使用它的信息吗

一种可能是将模型保存在AI平台或谷歌云存储中,并使用云功能调用此保存的模型并进行预测,以将其保存在firestore中

我已经读到,我可以在谷歌云存储上传这个经过培训的模型

如果您想这样做,可以使用数据流。您可以编写一个从BigQuery读取数据并将其写入GCS的管道


我不确定我是否理解您希望您的工作如何与AI平台和Firestore交互

Bigquery ML支持外部Tensorflow模型

TensorFlow模型导入。此功能允许您创建BigQuery 从先前训练的TensorFlow模型中提取ML模型,然后执行 BigQueryML.for中的预测 有关详细信息,请导入TensorFlow模型

所以你想要达到的是

在BigQuery中获取表 为模型选择语句构建功能集 在BigQuery中创建模型重新运行此以重新训练 运行ML.PREDICT或等效程序以获取新数据的预测 当新数据到达BigQuery时,您可以 -对模型进行外部或内部重新训练取决于您拥有的算法类型 -在预测中使用新行


为此,您需要2项服务:

一个用于为您的模型服务的预测 一个用于获取预测并将结果存储在firestore中 就我个人而言,我不建议你今天将模型存储在AI平台上。新版本应该在本月底发布,但今天就不行了!。我它应该在另一个框架中工作,但我只构建了一个tensorflow模型,并将其用于测试

如果您的新数据在BigQuery中,并且您的模型在tensorflow中,那么最好的解决方案是在BigQuery中加载您的模型。这个预测是免费的,你只需为你查询的数据付费。我也在写一篇关于这个的文章,但我正在等待新的AI平台发布,以便在这两个解决方案之间提供正确的比较


在获得预测、BigQuery+调用Cloud Run的结果或BigQuery with predict子句的结果后,您必须对结果进行迭代以将其存储到firestore中。我向您推荐一个不应关闭的

。这是一个好问题。因为我必须从bigquery到firestore写的是一个经过训练的机器学习模型的预测,所以我在问如何做到这一点