Google bigquery 您能否安排每日运行BQ查询并将其保存到表中?

Google bigquery 您能否安排每日运行BQ查询并将其保存到表中?,google-bigquery,Google Bigquery,我有一个BQ查询,它会生成大量数据,通常会将这些数据保存为一个新表。是否可以将此过程安排为每天进行?如果可能的话,推荐的方法是什么?Bigquery没有自己的作业调度程序。您将无法从bigquery web视图执行此操作 你完全可以用一点代码来完成。您必须选择一个调度程序,以便在您希望的时间运行bigquery查询作业。许多人只是从一个非常简单的bash脚本开始,该脚本通过cron运行作业 另一种方法是使用apache airflow作为调度器,并将作业部署为airflow DAG,在需要时执行

我有一个BQ查询,它会生成大量数据,通常会将这些数据保存为一个新表。是否可以将此过程安排为每天进行?如果可能的话,推荐的方法是什么?

Bigquery没有自己的作业调度程序。您将无法从bigquery web视图执行此操作

你完全可以用一点代码来完成。您必须选择一个调度程序,以便在您希望的时间运行bigquery查询作业。许多人只是从一个非常简单的bash脚本开始,该脚本通过cron运行作业

另一种方法是使用apache airflow作为调度器,并将作业部署为airflow DAG,在需要时执行。气流甚至有一个大的QueryOperator,这可能会使你更容易

基本上,你需要一些代码和谷歌云sdk来完成这项工作


我相信这个问题可能已经得到了回答

特别是查克和马格纳斯——《BigQuery Mate》和《Potens.io》的作者Jean-C提到——我标记为重复,并在之前的帖子中添加了一个回复。这里:)