Google bigquery 允许多个用户同时查看过时的BigQuery数据查询结果

Google bigquery 允许多个用户同时查看过时的BigQuery数据查询结果,google-bigquery,Google Bigquery,如果我有一个BigQuery数据集,其中包含我想提供给1000人的数据(其中每个人只允许查看他们的数据子集,并且可以查看他们数据的24小时过期版本),我如何在不超过50个并发查询限制的情况下做到这一点 在BigQuery文档中提到允许50个并发查询,它们提供现场准确的数据,如果我需要它们都能够查看现场准确的数据,我会超过它们,而我没有 在文档中提到允许批处理作业并将结果保存到目标表中,我希望这能为我的场景提供可靠的解决方案,但我很难找到有关这些批处理作业运行的可靠性或频率的信息,而且,是否有人查

如果我有一个BigQuery数据集,其中包含我想提供给1000人的数据(其中每个人只允许查看他们的数据子集,并且可以查看他们数据的24小时过期版本),我如何在不超过50个并发查询限制的情况下做到这一点

在BigQuery文档中提到允许50个并发查询,它们提供现场准确的数据,如果我需要它们都能够查看现场准确的数据,我会超过它们,而我没有

在文档中提到允许批处理作业并将结果保存到目标表中,我希望这能为我的场景提供可靠的解决方案,但我很难找到有关这些批处理作业运行的可靠性或频率的信息,而且,是否有人查询存在于这些目标表中的结果,其本身就是朝着50个并发用户的限制计数


非常感谢您的建议。

在不知道具体情况的情况下,根据输出中的数据量,我建议您将自己的缓存放在BigQuery前面

这听起来有点像一个仪表盘/报告解决方案,所以我假设有大量数据输入,而输出的数据相对较少(每个用户)

每天使用批处理脚本运行一次查询以生成输出(按用户分组),然后将其导出到GCS。然后,您可以将其分解为多个平面文件(或者只需在前端将其读入内存)。每个用户点击您的前端,您就可以决定向他们提供哪部分输出并做出响应

如果您可以处理缓存数据,并且它足够小,处理BigQuery输出不需要太多额外处理,那么这应该相对便宜


谷歌云功能可能是一个简单的方法来处理这个问题,如果你不想额外的工作来设置一个新的虚拟机来托管你的前端。

在不知道你的具体情况和取决于输出中有多少数据的情况下,我建议把你自己的缓存放在BigQuery前面

这听起来有点像一个仪表盘/报告解决方案,所以我假设有大量数据输入,而输出的数据相对较少(每个用户)

每天使用批处理脚本运行一次查询以生成输出(按用户分组),然后将其导出到GCS。然后,您可以将其分解为多个平面文件(或者只需在前端将其读入内存)。每个用户点击您的前端,您就可以决定向他们提供哪部分输出并做出响应

如果您可以处理缓存数据,并且它足够小,处理BigQuery输出不需要太多额外处理,那么这应该相对便宜

如果你不想在安装新的虚拟机来承载你的前端时付出额外的工作,那么谷歌云功能可能是一个简单的方法来处理这个问题。

你试过了吗?它们可以帮助您根据预期的用户数量适当地配置项目。默认情况下是50个并发查询,但是有很多大型项目支持的用户比这多得多。试试(开源仪表板),它可以将BigQuery作为后端。你试过了吗?它们可以帮助您根据预期的用户数量适当地配置项目。默认情况下,50个并发查询,但是有很多大型项目支持的用户比这多得多