Google bigquery 列出对BigQuery进行的所有查询及其处理的字节

Google bigquery 列出对BigQuery进行的所有查询及其处理的字节,google-bigquery,Google Bigquery,我想知道在BigQueryAPI中是否有一种方法或任何其他方式可以列出所有查询及其处理的字节。类似于“活动”页面中列出的内容,但带有processedBytes字段: 我们的账单有问题。突然之间,我们的BigQuery分析成本增加了很多,我们认为我们的收费比预期的高出了20倍(我们检查了BigQuery API的所有响应,并保存processedBytes字段,考虑到最低收费是10MB) 我们解决这一差异的唯一方法是列出所有请求,并与我们的数字进行比较,看看我们是否在衡量某件事,或者我们是否在

我想知道在BigQueryAPI中是否有一种方法或任何其他方式可以列出所有查询及其处理的字节。类似于“活动”页面中列出的内容,但带有processedBytes字段:

我们的账单有问题。突然之间,我们的BigQuery分析成本增加了很多,我们认为我们的收费比预期的高出了20倍(我们检查了BigQuery API的所有响应,并保存processedBytes字段,考虑到最低收费是10MB)

我们解决这一差异的唯一方法是列出所有请求,并与我们的数字进行比较,看看我们是否在衡量某件事,或者我们是否在做错事。我们已经打开了一张账单支持单,他们将我重定向到Stackoverflow,因为他们认为这是一个技术问题


提前谢谢

不要检查totalBytesProcessed-您应该尝试检查totalBytesBilled和billingTier(请参阅)
您可能会跳转到较高的计费级别-只是猜测最好的检查位置是BigQuery日志

这将告诉您运行了哪些查询、谁运行了它们、它们运行的日期/时间、计费的总字节数等

查看日志可能有点繁琐,但BigQuery允许您将BigQuery日志流式传输到BigQuery表中,然后您可以查询该表以识别昂贵的查询


我已经这样做了,它的工作非常好,让你对你的BQ费用的可见性。这里更详细地介绍了如何执行此操作的过程:

谢谢Mihaill,有时我们只在响应对象中处理TotalBytes。最后,我们发现问题在于Bigquery在每个查询中每个表的最小账单为10MB。我们认为每个查询的数据量是10MB。@Mikhail-很奇怪,假设我有一个消耗2.3MB数据的查询(正如我在BQ控制台上看到的),我正在查询一个包含大约2GB数据的BQ表。那么我的账单是10MB(考虑最小值)+2.3=12.3MB吗?