Google bigquery 自2016年2月19日以来BigQuery交互式查询响应时间下降

对于GoogleBigQuery基础设施人员：我们已经运行了一组短时间运行的交互式查询好几个月了，现在平均需要5秒才能完成。从19年2月2日星期五开始，这些响应时间一直在稳步增长（SQL没有改变，我们正在处理使用滑动窗口查询的稳定数据流）

您知道这是一个全局BigQuery问题吗

编辑：更精确的响应时间：

---

有好消息也有坏消息；好消息是查询只需0.5秒即可执行。坏消息是，找到存储数据的文件花费了191秒

我们有几个性能退化，导致解析路径的尾部延迟很高。数据存储在多个路径中的表（如您的表）的性能会更差

这是一个性能问题，由于您使用的是时间范围装饰器，这意味着我们优化文件布局的努力并没有起到很好的作用，所以性能问题更加严重

今天下午，我们将开始对潜在的性能问题进行修复；它可能需要至少一周的时间才能在各地生效。完成后我会更新此答案（如果我忘记了，请提醒我）

---

同时，通过从查询中删除时间范围装饰符，可以获得更快的结果。您已经在按时间进行筛选，因此查询应该仍然正确。当然，这可能意味着查询的运行成本要高一些。

请提供运行时间比预期长的作业的作业id。据我们所知，没有全局bigquery问题。（理想情况下，如果您还可以提供快速运行的作业的作业id，这也会很有帮助）下面是一个简短的（相对而言）简短的一句：Soobgfn97jialkyeeu5TDFGT4G3mabGS26xO3FM0xP2WDMFJ7YJFryFCWQKTOEI96MWfIjzBj4D7GOKBYCB1Cb8ZLQDzCfG8RzHzHzHzHzHzHzHzHzHzHzHzHzHzHzHzHzHzHzHzHzHzHzHzHzHzHzHzHzHzHzHzHzHzHzHzHzHzHzHzHzHzHzHzHzHzHzHzHzHzHzHzHzHzHzHzHzHzHzHzHzHzHzHzHzHzHzHz和一个长的J2jaid9yw3bji3skbiddnSdkezx4km_iwqogzvyjt5u9nxay8peaktislp6odw0pkevmcvntavgGodzb9gleiek0loljeyp103y3nrhiwwww7b5czqm9uwkga3ptxiiewy136mjiyei29yuhfkvzumdjq2lbezab1jckleaf6w7v7vqeqep8\pgv2shf2shfl0rc9wyje9dxg98osj5p5p5mww7wqb7w7w7b7cmw3mw7xb3mw7b。这两个处理的长度都在1.6mWy7mWyjklefzzzzb7mWy3j。我们每天（一天内）启动约19千个这样的项目，并一直依赖这些项目在约5秒内完成。这些将被漏斗状地放入40/s的应用程序引擎队列中，以保持在50/s的运行查询限制内。随着人数的增加，排队的人越来越多，延误也开始发生。感谢您关注这个约旦河，我会拿出装饰器，直到你开绿灯。从美国东部时间凌晨1:30开始，我们的响应时间回到了4-5秒的范围。Jordan：关于我们的表在多个路径中存储数据的评论，有一个问题：这是指表的查询用法吗，联合还是左外部联接？这是由于bigquery表是如何在内部存储的。如果你做了大量的小导入，这些将被单独放入单独的文件中，直到它们被优化（流式导入也会生成小文件）。如果您使用时间范围装饰器，这意味着我们不能使用优化版本。但是TABLE_QUERY最终可能会读取很多小表，因此您也会遇到同样的问题。谢谢，是的，这些表都由流式导入填充。