Google bigquery 大查询-仪表板设计的并发性

Google bigquery 大查询-仪表板设计的并发性,google-bigquery,dashboard,Google Bigquery,Dashboard,大查询是否适合处理数十万个连接,或者这是一个糟糕的设计 在这种情况下,当前正在构建一个仪表板,该仪表板将显示直接从大查询中提取的聚合值。在我们的仪表板中,我们还有一组日期过滤器,可以显示上一年的数据(每个过滤器都是大查询的唯一查询)。数十万用户很可能同时访问仪表板 从文档中可以看到,对于可以同时运行的查询数量,big query有一个设置的配额 如果这真的是一个问题,我计划的解决方案是预先计算每个唯一的日期结果,并将其保存在fast表格中,但我们在这里讨论了很多组合。这是正确的体系结构,还是bi

大查询是否适合处理数十万个连接,或者这是一个糟糕的设计

在这种情况下,当前正在构建一个仪表板,该仪表板将显示直接从大查询中提取的聚合值。在我们的仪表板中,我们还有一组日期过滤器,可以显示上一年的数据(每个过滤器都是大查询的唯一查询)。数十万用户很可能同时访问仪表板

从文档中可以看到,对于可以同时运行的查询数量,big query有一个设置的配额


如果这真的是一个问题,我计划的解决方案是预先计算每个唯一的日期结果,并将其保存在fast表格中,但我们在这里讨论了很多组合。这是正确的体系结构,还是big query还有另一个解决此问题的方法?

因此这里有几点需要注意

  • 可以提出100个并发查询
  • 如果你提高限额,你需要确保你有下面的支持槽来处理请求。按需定价为您提供2000个插槽,考虑到您正在谈论的工作负载,您可能需要额外的插槽来处理并发性,这意味着统一费率定价
  • 通过依赖结果缓存,或者如果您的数据定期更新物化视图,您可能能够缓解其中的一些问题