Google bigquery 当从多个分片表中查询超过4亿行时,BigQuery的预期查询响应性能如何?

Google bigquery 当从多个分片表中查询超过4亿行时,BigQuery的预期查询响应性能如何?,google-bigquery,Google Bigquery,我注意到,当从多个分片表中查询超过4亿行时,BigQuery性能一直很慢(30秒到1分钟的响应时间) 我在一天中的不同时间(下午、傍晚和早上)运行了3次查询,注意响应时间一直很慢。查询使用一个group by string字段,该字段可能有许多唯一值,然后按另一个整数值的总和降序排序,最后只返回前10个 我对同一个模式和同一个查询进行了性能计时测试,但将所有数据存储在一到五个表中,并注意到性能始终低于10秒 查询在7到90个分片表中分片4亿到20亿行的数据集的预期响应时间是多少?在更多表中分片数

我注意到,当从多个分片表中查询超过4亿行时,BigQuery性能一直很慢(30秒到1分钟的响应时间)

我在一天中的不同时间(下午、傍晚和早上)运行了3次查询,注意响应时间一直很慢。查询使用一个group by string字段,该字段可能有许多唯一值,然后按另一个整数值的总和降序排序,最后只返回前10个

我对同一个模式和同一个查询进行了性能计时测试,但将所有数据存储在一到五个表中,并注意到性能始终低于10秒


查询在7到90个分片表中分片4亿到20亿行的数据集的预期响应时间是多少?在更多表中分片数据会导致查询性能降低吗?仅供参考,碎片表的每个部分至少有2400万到1.44亿行。它们不是很小的表。

预期的查询性能在很大程度上取决于您的查询。您是否在查询中使用“分组依据”


数据分片到的表的数量不会对查询性能产生太大影响,除非表的数量非常大(成百上千)。如果您看到性能差异,那么可能是出了问题。您是否介意共享您正在运行的查询,或者快速查询与慢速查询的项目和作业ID?

我一直在使用group by。我是否应该避免在切碎的桌子上使用它?项目id为atbflow。以下是快速bqjob\u r3d7cf424fae4ce4b\uuu0000013ed3ba2970\u 1。这里有一个从今早运行的慢查询:BQJOOJBE8AFD6B1A257E3Y0.000 013ED78BC6AEY1。很可能是因为逐字段是具有很多独特值的字符串,所以在查询执行过程中,经常会出现错误“超过了资源。查询包含一个GROUPBY运算符,考虑使用每个组。”