Google bigquery 如何使用BigQuery插槽

你好

最近，我想在BigQueryWebUI中通过使用GROUPBY在一些表的名称上运行一个查询。表的行数将超过1000万。不幸的是，查询失败，出现以下错误：

查询失败 错误：查询执行期间超出了资源

我对我的查询语言做了一些改进，这次可能不会出现错误。但是随着我数据的增加，错误将来也会出现。所以我查看了Bigquery的最新版本，可能有两种方法可以解决这个问题：

1.2016/01/01之后，Bigquery将更改查询定价层以满足高计算层的要求，这样ResourcesCeeded错误就不会再次发生

2.BigQuery插槽。 我在Google上查看了一些文档，没有找到如何使用BigQuery插槽的方法。是否有BigQuery插槽的示例或用例？或者我必须与BigQuery团队联系才能打开该功能

---

希望有人能帮我回答这个问题，非常感谢

要使您的项目符合使用插槽的条件，您需要与支持部门联系。

以下几点：

我很惊讶基数为1000万的GROUP BY在超出资源的情况下失败了。您能否提供失败查询的作业id以便我们进行调查？您提到，随着数据量的增加，您担心会更频繁地遇到这些错误；您应该能够将数据大小再增加几个数量级，而不会看到这一点；您可能遇到了一个bug，或者查询或数据出现了异常

高计算层不一定会消除所需的资源。大部分情况下，ResourcesExceed意味着BigQuery遇到了内存限制；高计算层只解决CPU使用问题。请注意，它们尚未启用

BigQuery插槽使您能够更快、更可靠地处理数据。在大多数情况下，它们也无助于防止资源性错误

从11月5日起，目前有一个bug，您可能需要为每个关键字提供一个groupby。最近的更改应该使BigQuery能够自动选择执行策略，因此不需要每个策略，但在一些情况下，它没有选择正确的策略。如有疑问，请向“加入”和“分组方式”操作中添加一个EACH

---

Jordan Tigani，谢谢你的建议，因为你问工作id是什么，因为该项目中有一些商业秘密，所以我在Google SupportCenter中提供了SQL和工作id，如果有任何消息，我将更新此票证。作为我的SQL的简要视图：从[dataset.a]组中选择计数为ct，a，B，C由a，B，C的ct>1或类似情况：从[dataset.A]中选择计数为ct，A，B，C按A，B，C的ct>1分组数据集的行号。A约为11000000。更新：从[dataset.A]中选择计数为ct，A，B，C按A，B，C的ct>1分组→ 失败从[dataset.A]中选择A、B、C作为ct、A、B、C，并按ct>1的A、B、C分组→ 成功这似乎每个都是需要的。我已经更新了我的回复，包括添加每个的建议。正如我提到的，这是一个我们正在积极修复的bug。