Google bigquery BigQuery-如何在云日志中查看失败的计划查询?

Google bigquery BigQuery-如何在云日志中查看失败的计划查询?,google-bigquery,google-cloud-stackdriver,google-cloud-logging,google-cloud-monitoring,Google Bigquery,Google Cloud Stackdriver,Google Cloud Logging,Google Cloud Monitoring,我想在云监控仪表板中监控BigQuery计划查询的状态。我已经创建了几个基于日志的指标来跟踪其他服务/资源中的错误,但是在云日志中发现任何预定查询错误的迹象都有困难 从BigQuery UI中的Scheduled Queries页面,我可以检查失败的Scheduled Queries的运行详细信息,它显示了一些解释错误的日志条目,例如: 9:02:59 AM Error code 8 : Resources exceeded during query execution: Not enough

我想在云监控仪表板中监控BigQuery计划查询的状态。我已经创建了几个基于日志的指标来跟踪其他服务/资源中的错误,但是在云日志中发现任何预定查询错误的迹象都有困难

从BigQuery UI中的Scheduled Queries页面,我可以检查失败的Scheduled Queries的运行详细信息,它显示了一些解释错误的日志条目,例如:

9:02:59 AM  Error code 8 : Resources exceeded during query execution: Not enough resources for query planning - too many subqueries or query is too complex..; JobID: PROJECT:12345abc-0000-12a3-1234-123456abcdf   
9:00:17 AM  Starting to process the query job with no parameters.   
9:00:00 AM  Dispatched run to data source with id 1234567890
但由于某些原因,我在云日志中找不到任何这些消息。对于成功的作业,BigQuery日志中有一些条目,但完全缺少失败的作业


您知道如何在云日志记录或云监控中查看失败的计划查询吗?

您可以使用以下高级筛选器筛选与“jobservice.insert”相关的所有BigQuery错误

这是该查询的结果:

即使是一个简单的查询,如:

resource.type="bigquery_resource"
severity: "ERROR"
能够检索所有与BigQuery相关的错误,如下所示:

找到与失败的计划查询相关的查询后,可以单击结果的protopayload并选择“ShowMatchingEntries”开始构建自己的高级查询


我可以使用和文档组装此筛选器。

基于日志的度量定义看起来如何?我尝试了很多方法,但例如使用resource。type=“bigquery\u resource”“scheduled”我可以找到与成功计划查询相关的日志。感谢您的建议!不幸的是,过滤器没有显示失败的查询。从BigQuery UI(计划查询>运行详细信息)中,我看到有一个失败的查询,例如2020年10月4日上午9:00,但在该时间前后运行上述过滤器不会显示任何日志。您是否能够在日志中找到错误,而不使用除resource以外的任何过滤器。type=“BigQuery\u resource”?如果您可以使用此方法找到错误,我建议您从那里开始构建筛选器,您可以单击结果的protopayload并选择“ShowMatching entries”以获得日志资源管理器使用的确切代码。不,这是问题所在。我看不到任何与失败的工作有关的东西。没有错误,没有插入作业,什么都没有。我将在对查询进行一些修改时编辑我的答案,并显示包含结果的图像。
resource.type="bigquery_resource"
severity: "ERROR"