Google bigquery 是否存储了Bigquery作业日志?
使用日志服务,我无法找到与UI或bq命令行的作业相关的日志 [编辑] 根据@DoIT InternationalGoogle bigquery 是否存储了Bigquery作业日志?,google-bigquery,google-cloud-platform,Google Bigquery,Google Cloud Platform,使用日志服务,我无法找到与UI或bq命令行的作业相关的日志 [编辑] 根据@DoIT Internationalbq ls-j的建议,显示作业列表,但不显示故障日志 使用以下命令列出查询作业的历史记录: bq ls -j bq是此处提供的Google CloudSDK的一部分:使用以下命令列出查询作业的历史记录: bq ls -j bq是此处提供的Google CloudSDK的一部分:您可以使用它收集工作信息并将其上传到GBQ 因为它在GBQ中-您可以使用BigQuery的强大功能以任何方
bq ls-j
的建议,显示作业列表,但不显示故障日志
使用以下命令列出查询作业的历史记录:
bq ls -j
bq
是此处提供的Google CloudSDK的一部分:使用以下命令列出查询作业的历史记录:
bq ls -j
bq
是此处提供的Google CloudSDK的一部分:您可以使用它收集工作信息并将其上传到GBQ因为它在GBQ中-您可以使用BigQuery的强大功能以任何方式分析它
您可以将结果展平,也可以使用original—我建议使用original,因为在加载到GBQ之前没有任何转换(您只需上传从API获得的任何内容)。当然,所有这些都是在你仍然需要编写的简单应用程序/脚本中完成的 注意:确保使用
full
值作为projection
参数
有关故障的信息应如下所示
"errorResult": {
"reason": string,
"location": string,
"debugInfo": string,
"message": string
},
请参阅中的更多详细信息,您可以使用这些信息收集工作信息并将其上载到GBQ因为它在GBQ中-您可以使用BigQuery的强大功能以任何方式分析它
您可以将结果展平,也可以使用original—我建议使用original,因为在加载到GBQ之前没有任何转换(您只需上传从API获得的任何内容)。当然,所有这些都是在你仍然需要编写的简单应用程序/脚本中完成的 注意:确保使用
full
值作为projection
参数
有关故障的信息应如下所示
"errorResult": {
"reason": string,
"location": string,
"debugInfo": string,
"message": string
},
请参阅中的更多详细信息是的,它会打印日志,但我需要查看故障原因。我加载了一个2500万行的文件,作业失败,没有打印导致崩溃的行。@AliSAIDOMAR尝试以
ls--all-j
的形式运行它以显示所有作业,包括其他用户和服务帐户运行的作业。您需要在项目中拥有owner
权限才能执行此操作。要查看特定作业的错误详细信息,请使用:bq show-j
,如果要查看原始响应,请使用:bq--format=prettyjson show-j
我知道这是一个旧主题,但我试图通过首先列出所有作业来查看错误详细信息,获取最后一个失败的作业id,然后在bq show-j bquxjob\u 3e54c2de\u 176da3953ff中使用它
但是无论我选择什么作业id,我总是在show操作中得到一个错误BigQuery错误:找不到:作业vf de ca不活动:bquxjob\u 3e54c2de\u 176da3953ff
是的,它会打印日志,但我需要查看失败的原因。我加载了一个2500万行的文件,作业失败,没有打印导致崩溃的行。@AliSAIDOMAR尝试以ls--all-j
的形式运行它以显示所有作业,包括其他用户和服务帐户运行的作业。您需要在项目中拥有owner
权限才能执行此操作。要查看特定作业的错误详细信息,请使用:bq show-j
,如果要查看原始响应,请使用:bq--format=prettyjson show-j
我知道这是一个旧主题,但我试图通过首先列出所有作业来查看错误详细信息,获取最后一个失败的作业id,然后在bq show-j bquxjob\u 3e54c2de\u 176da3953ff中使用它
但是无论我选择什么作业id,我总是在show操作中得到一个错误BigQuery错误:找不到:作业vf de ca非活动:bquxjob\u 3e54c2de\u 176da3953ff
谢谢:)事实上,通过这项服务我可以获得作业信息,但在我的情况下“CSV表遇到太多错误,放弃。行:138130错误:21“仅诊断错误的真正原因是不够的。谢谢:)事实上,通过这项服务,我可以获得工作信息,但在我的情况下”CSV表遇到太多错误,放弃了。行:138130错误:21“仅诊断错误的真正原因是不够的。