Fatal编程技术网
  • cron/
  • Cron bigquery作业

Cron bigquery作业

cron google-bigquery

Cron bigquery作业,cron,google-bigquery,scheduler,Cron,Google Bigquery,Scheduler,安排BigQuery作业的最佳方式是什么 BigQuery并没有提供直接的方法，我从搜索中得到的最好结果是使用AppEngine cron服务，但据我所知，我必须创建一个web应用程序来使用该服务 我的用例是每天或每周对点击和印象进行聚合，并在我们的管理门户中使用它们 我以前使用Hive作为数据仓库，Oozie作为调度程序 有没有办法用BigQuery实现同样的逻辑 不幸的是，BigQuery中没有内置的调度程序，尽管工程团队接受请求 然而，有一些有趣的选择 正如您所提到的，使用appengin

安排BigQuery作业的最佳方式是什么

BigQuery并没有提供直接的方法，我从搜索中得到的最好结果是使用AppEngine cron服务，但据我所知，我必须创建一个web应用程序来使用该服务

我的用例是每天或每周对点击和印象进行聚合，并在我们的管理门户中使用它们

我以前使用Hive作为数据仓库，Oozie作为调度程序

有没有办法用BigQuery实现同样的逻辑

不幸的是，BigQuery中没有内置的调度程序，尽管工程团队接受请求

然而，有一些有趣的选择

  • 正如您所提到的，使用appengine中的cron服务绝对有效，您可以编写一个小而简单的web服务，以常规的节奏调用您想要的查询。这项服务将不会面向网络，因此收费应保持极低
  • 这是一个服务，我一直在玩，这是非常有前途的；它允许您在Python中跨各种云服务定义更复杂的数据操作任务，并以您选择的任何节奏执行这些任务。非常方便
  • 常规Cron-如果您有一台可用的服务器，您可以只设置一个基本的Cron作业，该作业使用“bq”命令行工具执行您想要的任何查询，并将结果保存到bq中的表中
    希望有帮助！我肯定还有其他选择，只是想给你一些

    thx对于@andre622的响应，我认为这些选项是最好的选择，因为它也与dataproc集成得很好。