Google bigquery 计划从Google BigQuery导出到Google云存储

Google bigquery 计划从Google BigQuery导出到Google云存储,google-bigquery,scheduled-tasks,google-cloud-storage,Google Bigquery,Scheduled Tasks,Google Cloud Storage,我是谷歌云的新手,想知道如何安排查询并将其导出到谷歌云存储的最佳用例。 我看过关于如何手动导出数据的文档,但找不到任何关于以自动化方式进行导出的具体内容。 有没有最好的方法来解决这个问题 谢谢 使用Node.js、python或Go实现表导出功能。云函数和BigQuery支持这些语言 在云函数服务中插入上述函数,云函数服务是一个事件驱动的无服务器计算平台 使用您选择的计划间隔,使用Cloud Scheduler触发上述函数。可以使用cron表达式指定计划间隔。调度器将通过函数端点上的REST调用

我是谷歌云的新手,想知道如何安排查询并将其导出到谷歌云存储的最佳用例。 我看过关于如何手动导出数据的文档,但找不到任何关于以自动化方式进行导出的具体内容。 有没有最好的方法来解决这个问题

谢谢

  • 使用Node.js、python或Go实现表导出功能。云函数和BigQuery支持这些语言
  • 在云函数服务中插入上述函数,云函数服务是一个事件驱动的无服务器计算平台
  • 使用您选择的计划间隔,使用Cloud Scheduler触发上述函数。可以使用cron表达式指定计划间隔。调度器将通过函数端点上的REST调用触发函数
  • 通过访问存储桶并确保表已成功导出,验证上述操作是否成功

  • 在这个(仍在构建中)中,我刚刚实现了使用AppEngine标准,主要文件是
    main.py
    worker.py
    ,它们是由yaml文件(“应用程序”、“队列”、“cron”和“worker”)设置的。每天早上10点,我有一个新的文件从BQ导出到GCS,它提供了一些每天运行的ML算法。你也可以使用应用程序脚本。我写了一个博客-伙计们,非常感谢你们的回复。我使用了一个带有export_data_to_gcs的Python脚本,该脚本将一个表导出到gcs——现在我需要找到如何使用Python将查询导出到gcs。有什么想法吗?关于在Python中使用目标表,还有其他一些StackOverflow问题(或参见BigQuery文档)。运行查询,然后将结果表导出到GCS。这对我帮助很大,非常感谢Moe!