Performance Google BigQuery正在缓慢运行查询

Performance Google BigQuery正在缓慢运行查询,performance,google-bigquery,large-data-volumes,Performance,Google Bigquery,Large Data Volumes,我正在我的数据集上运行一个简单的bigQuery,它大约有84GB的日志数据 完成查询大约需要110秒。对于这种大小的数据集来说,这正常吗?进一步调查后,您的表似乎严重碎片化。我们通常会运行一个合并进程来防止这种情况,但在我们验证bug修复时,它已经关闭了几个星期。我重新启动了聚结器,在你的桌子上运行。请让我知道,如果你继续看到糟糕的表现 作为一种最佳实践,您最好在较大的数据块中稍微不频繁地导入数据,或者将数据拆分为基于时间的表。BigQuery并不是专门为处理同一个表中的大量小导入而设计的。项

我正在我的数据集上运行一个简单的bigQuery,它大约有84GB的日志数据


完成查询大约需要110秒。对于这种大小的数据集来说,这正常吗?

进一步调查后,您的表似乎严重碎片化。我们通常会运行一个合并进程来防止这种情况,但在我们验证bug修复时,它已经关闭了几个星期。我重新启动了聚结器,在你的桌子上运行。请让我知道,如果你继续看到糟糕的表现


作为一种最佳实践,您最好在较大的数据块中稍微不频繁地导入数据,或者将数据拆分为基于时间的表。BigQuery并不是专门为处理同一个表中的大量小导入而设计的。

项目id:326440123436,查询只是一个简单的过程:从[streaklogsdataset.log\u faaf98\u0000000 1353024000000\u0000000 1355616000000]按时间戳顺序选择时间戳desc LIMIT 1;乔丹-调查这个问题有什么进展吗?抱歉,这是一个做作的查询示例。这里有一个更现实的例子:从[StrokLogsDataSet.log\u faaf98\u0000000 1353024000000\u0000000 1355616000000]中选择errorType、errorTrace、uid、timestamp,其中httpStatus>=500 order by uid asc,timestamp desc limit 500;好的,我刚看了你的桌子。它是18k片段。我们的压缩表的合并器已经暂停了几周,直到最近才重新启动。建议:运行一个表复制作业,将其复制到一个新表并使用它,或者导出到json并重新导入。(我们正在重新启动聚结器,但可能需要24小时左右才能恢复)。好的,您的桌子已经修好了。如果您继续看到表的性能问题,请告诉我。