Google bigquery 无法在分配的内存中执行查询_Google Bigquery

Google bigquery 无法在分配的内存中执行查询

google-bigquery

Google bigquery 无法在分配的内存中执行查询,google-bigquery,Google Bigquery,我有一个简单的查询要运行： update`dataset.mytable` set field_1 = cast( field_2 as int64) where field_2 not in ('AA', 'BB') 我得到了一个错误：错误：查询执行期间超出了资源：无法在分配的内存中执行查询该表只有10亿行…这确实是一个bug，类似于。在这种情况下，您没有办法知道，但是如果您将来确实发现了bug，您可以知道，因为更广泛的StackOverflow社区可能无法提供帮助作为对所发生事件的

我有一个简单的查询要运行：

update`dataset.mytable`
set field_1 = cast( field_2 as int64) 
where field_2 not in ('AA', 'BB')

我得到了一个错误：

错误：查询执行期间超出了资源：无法在分配的内存中执行查询

该表只有10亿行…

这确实是一个bug，类似于。在这种情况下，您没有办法知道，但是如果您将来确实发现了bug，您可以知道，因为更广泛的StackOverflow社区可能无法提供帮助

作为对所发生事件的总结：

看起来加载到表中的文件相当大，例如，每个文件的大小都有好几GB。加载较小的文件不会触发BigQuery错误
将这些文件的内容持久化到BigQuery存储时，BigQuery没有充分地切分表（这是BigQuery方面的错误）
在执行
```
UPDATE
```
语句时，BigQuery试图只跨少量分区执行大量工作，导致
```
资源超出
```
消息
我可以通过手动指示BigQuery存储重新硬处理表来解决这个问题。这不是通过BigQueryAPI公开的，因为除非有bug，否则不需要它

看起来加载到表中的文件相当大，例如，每个文件的大小都有好几GB。加载较小的文件不会触发BigQuery错误
将这些文件的内容持久化到BigQuery存储时，BigQuery没有充分地切分表（这是BigQuery方面的错误）
在执行
```
UPDATE
```
语句时，BigQuery试图只跨少量分区执行大量工作，导致
```
资源超出
```
消息
我可以通过手动指示BigQuery存储重新硬处理表来解决这个问题。这不是通过BigQueryAPI公开的，因为除非有bug，否则不需要它