Google cloud platform GCP每天运行一个模型的预测

Google cloud platform GCP每天运行一个模型的预测,google-cloud-platform,google-cloud-scheduler,gcp-ai-platform-notebook,Google Cloud Platform,Google Cloud Scheduler,Gcp Ai Platform Notebook,我有一个.py文件,其中包含生成某些数据预测的所有指令。 这些数据来自BigQuery,预测应该插入到另一个BigQuery表中。 现在代码运行在AIPlatform笔记本上,但我想每天安排它的执行,有什么办法吗 我遇到了AIPlatform作业,但我不明白我的代码应该做什么以及代码的结构应该是什么,是否有任何分步指南可以遵循?您可以使用不同的选项安排笔记本执行: 同一技术的不同变体: :提供了一种方便的方法来执行.ipynb笔记本文件的输入单元格,并将结果(输入单元格和输出单元格)保存为

我有一个.py文件,其中包含生成某些数据预测的所有指令。 这些数据来自BigQuery,预测应该插入到另一个BigQuery表中。 现在代码运行在AIPlatform笔记本上,但我想每天安排它的执行,有什么办法吗


我遇到了AIPlatform作业,但我不明白我的代码应该做什么以及代码的结构应该是什么,是否有任何分步指南可以遵循?

您可以使用不同的选项安排笔记本执行:

  • 同一技术的不同变体:

    • :提供了一种方便的方法来执行.ipynb笔记本文件的输入单元格,并将结果(输入单元格和输出单元格)保存为.ipynb文件
    • :是一个用于参数化和执行Jupyter笔记本的Python包。(使用nbconvert--在引擎盖下执行。)
    • :此工具可用于安排Jupyter笔记本从任何地方(本地、GCE、GCP笔记本)到云AI深度学习虚拟机的执行。您可以阅读有关此工具用法的更多信息。(在引擎盖下使用gcloud sdk和造纸机)
  • 是一个Python包,它使在Kubeflow上训练和部署ML模型变得容易。Kubeflow整流罩也可以扩展到其他平台上进行训练或部署。目前,Kubeflow整流罩已扩展到谷歌人工智能平台上进行训练

  • AI平台笔记本调度器调度器扩展有两个核心功能: 能够提交一个笔记本,作为一个带有自定义容器映像的培训作业运行。这允许您在经济高效的单一VM环境中试验和编写培训代码,但可以扩展到AI平台作业,以利用优越的资源(即GPU、TPU等)。 安排笔记本重复运行的步骤顺序完全相同,但需要crontab格式的计划选项

  • 这是笔记本计划程序项目的前身。允许您直接从Jupyter UI执行笔记本

  • Python软件包允许用户在谷歌云AI平台的培训工作中运行Jupyter笔记本

  • 允许在谷歌云平台上运行任何Jupyter笔记本功能 与上面列出的所有其他解决方案不同,它允许为整个项目运行培训,而不是单个Python文件或Jupyter笔记本 允许使用参数运行任何函数,从本地执行移动到云只是将函数包装到:
    gcp\u runner.run\u cloud(,…)
    call中。 该项目已投入生产,无需任何修改 支持在本地(出于测试目的)、AI平台和Kubernetes环境中执行完整的端到端示例可在此处找到:

  • (Keras for GCP)提供了API,可以轻松地从在本地环境中调试和培训Keras和TensorFlow代码到在云中进行分布式培训

GCP中推荐的选项是笔记本调度程序,该程序已在EAP中提供