Android BigQuery自动化

Android BigQuery自动化,android,google-bigquery,firebase-analytics,Android,Google Bigquery,Firebase Analytics,我对BigQuery和编程一般都是新手(SQL流利),因为我有数据分析背景。我正在使用BigQuery分析我的Android应用程序的事件数据。我将数据很好地流到BQ表中,并且能够在BQWebUI中编写查询,将查询结果保存在新表中,以便在Tableau中进一步分析。 问题是我每天都要运行10次查询,因为我的事件表每天都会更新能够自动(和计划)运行保存的查询(保存在BQ Web UI中)并定期使用查询结果更新表的最佳流程是什么? 我已经研究过bq命令工具、作业、BigQueryAPI,但是我在过多

我对BigQuery和编程一般都是新手(SQL流利),因为我有数据分析背景。我正在使用BigQuery分析我的Android应用程序的事件数据。我将数据很好地流到BQ表中,并且能够在BQWebUI中编写查询,将查询结果保存在新表中,以便在Tableau中进一步分析。 问题是我每天都要运行10次查询,因为我的事件表每天都会更新能够自动(和计划)运行保存的查询(保存在BQ Web UI中)并定期使用查询结果更新表的最佳流程是什么?


我已经研究过bq命令工具、作业、BigQueryAPI,但是我在过多的信息中迷失了方向(我指责我在这里缺乏编程经验)。有人能帮忙吗?

这可能被认为是一个太宽泛的问题,但我会尝试给出我的观点

在我们公司,我们使用这个工具使一切自动化

我们有一些优势,比如我们不仅每天需要运行几十个查询,还需要为我们拥有的每个商店进行调整。我们通过使用和一些配置文件来实现这一点。我们刚刚发现python在这些任务中为我们提供了很好的服务(我想在命令行工具中这样做可能更具挑战性)

对于调度,我们只是在堆栈中的一些EC2实例中设置,它们在设置时间后执行整个操作(我们计划将整个堆栈迁移到GCP,但这需要一段时间)


最后,这只是解决这项任务的一种方法。确实还有很多其他的。就简单性和维护而言,我认为您也会发现这种方法非常适合您。

这可能被认为是一个过于宽泛的问题,但我会尝试给出我的观点

在我们公司,我们使用这个工具使一切自动化

我们有一些优势,比如我们不仅每天需要运行几十个查询,还需要为我们拥有的每个商店进行调整。我们通过使用和一些配置文件来实现这一点。我们刚刚发现python在这些任务中为我们提供了很好的服务(我想在命令行工具中这样做可能更具挑战性)

对于调度,我们只是在堆栈中的一些EC2实例中设置,它们在设置时间后执行整个操作(我们计划将整个堆栈迁移到GCP,但这需要一段时间)


最后,这只是解决这项任务的一种方法。确实还有很多其他的。就简单性和维护而言,我认为您也会发现这种方法非常适合您。

谢谢您的指导!我将尝试你上面列出的解决方案,并根据它们是否对我有效在这里进行更新。谢谢你的指点!我将尝试上面列出的解决方案,并根据它们是否适合我来更新。