Google bigquery BigQueryUDF可以在一个项目中工作,但不能在另一个项目中工作

Google bigquery BigQueryUDF可以在一个项目中工作,但不能在另一个项目中工作,google-bigquery,Google Bigquery,我已经使用UDF的几个月了,并且取得了很大的成功。最近,我建立了单独的开发项目,并将1/10的web跟踪数据流式传输到这些项目中 我发现,我在生产中使用的UDF(在完整数据集上运行)正在工作,而我们开发项目中完全相同的查询始终失败,尽管查询了1/10的数据。错误消息是: 查询失败 错误:查询执行期间超出了资源:UDF内存不足 错误位置:用户定义的函数 我查看了我们的配额,没有发现任何限制开发项目的因素 有人有什么想法吗 如果有人可以查看,以下是项目ID: 生产中的查询成功:bquijob_4af

我已经使用UDF的几个月了,并且取得了很大的成功。最近,我建立了单独的开发项目,并将1/10的web跟踪数据流式传输到这些项目中

我发现,我在生产中使用的UDF(在完整数据集上运行)正在工作,而我们开发项目中完全相同的查询始终失败,尽管查询了1/10的数据。错误消息是:

查询失败

错误:查询执行期间超出了资源:UDF内存不足

错误位置:用户定义的函数

我查看了我们的配额,没有发现任何限制开发项目的因素

有人有什么想法吗

如果有人可以查看,以下是项目ID:

生产中的查询成功:bquijob_4af38ac9_155dc1160d9


开发中的查询失败:bquijob_536A2E_155dc153ed6

Jan Karl,对延迟响应表示歉意;我一直在国外,在日本的一些活动上发言,然后一直在处理与生产有关的所有问题

我终于有机会为你调查这件事了。您发送给我的两个作业ID正在运行不同的查询。这些查询看起来是一样的,但实际上它们运行在具有不同定义的视图上。成功的查询是一个直接的
select*fromtable
,而具有jsoom的查询使用的是一个UDF

我们正在为JS OOM问题推出修复方案,允许JavaScript引擎使用更多RAM

…现在,对于一些与本案无关但可能具有未来价值的信息

理论上,一个查询可能在一个项目中成功,而在另一个项目中失败,即使它们运行在完全相同的数据集上。这是不寻常的,但也是可能的

背景:BigQuery在多个数据中心操作和维护客户数据的副本,以实现冗余。不同的项目倾向于在不同的数据中心运行,以帮助负载分布和利用


如果数据足够新鲜,查询将在其项目的默认数据中心中运行。我们有一个在数据中心之间复制数据的流程,并且我们避免在数据中心中运行数据的陈旧副本。但是,我们运行维护作业以确保构成数据的文件具有“最佳”大小。这些作业在每个数据中心单独安排,因此同一精确表的基础数据文件可能在单元格a和单元格B中具有不同的物理结构。这可能会影响查询性能的各个方面,在极端情况下,查询可能在单元格a中成功,但在单元格B中失败。

,对迟来的答复表示歉意;我一直在国外,在日本的一些活动上发言,然后一直在处理与生产有关的所有问题

我终于有机会为你调查这件事了。您发送给我的两个作业ID正在运行不同的查询。这些查询看起来是一样的,但实际上它们运行在具有不同定义的视图上。成功的查询是一个直接的
select*fromtable
,而具有jsoom的查询使用的是一个UDF

我们正在为JS OOM问题推出修复方案,允许JavaScript引擎使用更多RAM

…现在,对于一些与本案无关但可能具有未来价值的信息

理论上,一个查询可能在一个项目中成功,而在另一个项目中失败,即使它们运行在完全相同的数据集上。这是不寻常的,但也是可能的

背景:BigQuery在多个数据中心操作和维护客户数据的副本,以实现冗余。不同的项目倾向于在不同的数据中心运行,以帮助负载分布和利用


如果数据足够新鲜,查询将在其项目的默认数据中心中运行。我们有一个在数据中心之间复制数据的流程,并且我们避免在数据中心中运行数据的陈旧副本。但是,我们运行维护作业以确保构成数据的文件具有“最佳”大小。这些作业在每个数据中心单独安排,因此同一精确表的基础数据文件可能在单元格a和单元格B中具有不同的物理结构。这可能会影响查询性能的各个方面,在极端情况下,查询可能在单元格a中成功,但在单元格B中失败。

Hi,您可以共享这两个项目的项目ID吗?我假设每个项目的作业都在不同的生产单元中运行,并且存在某种特定于单元的问题。@thomaspark我将直接通过电子邮件发送给您任何更新@thomaspark?也通过电子邮件回复:)我投票关闭这个问题,因为-通过emailHi解决,您可以共享这两个项目的项目ID吗?我假设每个项目的作业都在不同的生产单元中运行,并且存在某种特定于单元的问题。@thomaspark我将通过电子邮件直接发送给您任何更新@thomaspark?也通过电子邮件回复:)我投票结束这个问题,因为-通过电子邮件解决