Automation 无需本地访问API即可自动执行Google BigQuery查询

Automation 无需本地访问API即可自动执行Google BigQuery查询,automation,google-bigquery,Automation,Google Bigquery,我尝试每周自动运行bigquery查询,并将数据保存到我的计算机上 理想情况下,这将通过API完成,但由于工作中的代理和防火墙问题,我无法访问计算机上的API 我还有其他选择吗?我已经试过搜索谷歌计算引擎,但我不确定这是否对我有帮助 还需要从BigQuery获取数据,通过WebUI的标准差距报告是不够的。而且查询每周将产生约2000000行数据正如您所知,BigQuery本身不提供任何调度机制。 您应该使用第三方解决方案或开发自己的解决方案。 例如,您可以使用App Engine Cron服务自

我尝试每周自动运行bigquery查询,并将数据保存到我的计算机上

理想情况下,这将通过API完成,但由于工作中的代理和防火墙问题,我无法访问计算机上的API

我还有其他选择吗?我已经试过搜索谷歌计算引擎,但我不确定这是否对我有帮助


还需要从BigQuery获取数据,通过WebUI的标准差距报告是不够的。而且查询每周将产生约2000000行数据

正如您所知,BigQuery本身不提供任何调度机制。
您应该使用第三方解决方案或开发自己的解决方案。
例如,您可以使用App Engine Cron服务自动执行BQ查询并将结果导出到GCS。

要将您的结果从地面军事系统传输到本地计算机,您仍然需要访问云并使用相应的工具(参见下面的链接)

根据您的陈述-由于代理、防火墙等问题,您无法从工作计算机访问API。您从计算机访问GBQ的是什么?BQ用户界面,BQ命令行,还有什么?请澄清-这将有助于回答您要求的第二部分-“将数据保存到我的计算机上”抱歉,本应澄清这一点。目前,我正在通过BQUI运行查询,并从那里保存一个表并导出到云存储,然后从那里下载一个CSV到我的计算机。这就是我想尝试的过程。因此,如果我理解正确,我可以在应用程序引擎上编写并运行脚本,并使用cron进行调度,然后使用gsutil从GCS下载保存的数据?正确。这绝对是你的一个选择。作为BigQueryMate的一部分,我还可以提供另一个选择/解决方案——如果我看到对这条评论的良好投票/反馈,我可以在这个扩展的下一个版本中这样做。请不要问这将如何工作-但简短的故事-它将允许做问题中提出的事情,而无需用户方面的任何额外编码,并且将成为常规GBQ UI的一部分。当然会有一些限制:o)您也可以使用googleapps脚本与BigQuery()对话,并使用基于时间的触发器启动脚本()。