Google bigquery 从Google BigQuery导出到CloudSQL?

Google bigquery 从Google BigQuery导出到CloudSQL?,google-bigquery,google-cloud-storage,google-cloud-sql,Google Bigquery,Google Cloud Storage,Google Cloud Sql,我想将数据从BigQuery(即报表)转储到CloudSQL数据库中,通过编程实现这一点的最佳方法是什么 我意识到我可以通过运行BigQuery查询,将其作为CSV下载,然后通过云控制台上传来实现这一点,但我希望通过编程实现,最好是使用Python/SQL。如果您希望转储整个表,可以使用BigQuery和云SQL API的组合来实现这一点 用于将BigQuery表提取到云存储的BigQuery文档 一旦数据进入云存储,就可以使用将数据导入MySQL表 如果需要更细粒度的控制,可以使用BigQue

我想将数据从BigQuery(即报表)转储到CloudSQL数据库中,通过编程实现这一点的最佳方法是什么


我意识到我可以通过运行BigQuery查询,将其作为CSV下载,然后通过云控制台上传来实现这一点,但我希望通过编程实现,最好是使用Python/SQL。

如果您希望转储整个表,可以使用BigQuery和云SQL API的组合来实现这一点

用于将BigQuery表提取到云存储的BigQuery文档

一旦数据进入云存储,就可以使用将数据导入MySQL表

如果需要更细粒度的控制,可以使用BigQueryAPI执行查询、获取结果、连接到云SQL实例并插入数据。如果数据量很大,这将无法正常工作

一种更复杂的方法是使用数据流将您感兴趣的数据写入云存储,并使用云SQL API将其导入


(出于我自己的好奇心,你能描述一下希望数据在云SQL中而不是BigQuery中的用例吗?这将帮助我/我们了解客户如何使用我们的产品以及我们可以改进的地方。)

我可以提供两个用例:1)你想使用需要真正符合SQL的数据库的第三方工具或LOB应用程序吗(使用更新、删除等)。在BQ中准备数据,然后导出到CloudSQL。2)MySQL中的处理/分析/ETL脚本对于移植到BQ来说非常复杂或昂贵。准备BQ中的数据,在CloudSQL中进行一些处理,然后将其带回BQ。为了消除这种需要,BQ需要ANSI-SQL兼容性和存储过程。(我也不推荐……只是说。)谢谢,我们的用例是:我们希望在BigQuery中对大数据进行“数字运算”,并希望输出每日报告(即基于BQ查询的更小数据)另一个用例是希望能够访问比简单标识更灵活的连接,因为大表的交叉连接很快就压倒了BigQuery的马力。如果这仍然是活动的-我们这样做是为了使用CloudSQL作为api的基础,因为BigQuery不能索引或返回足够快的查询来支持API。