Google bigquery 将项目中所有BigQuery加载作业的统计信息（日志）加载到BigQuery表

Apache Beam（Google Cloud Dataflow 2.0）作业结束后，我们在日志

bq show-j--format=prettyjson--project_id=00005d2469488547749b5129ce3_0ca7fde2f9d59ad7182953e94de8aa83_00001-0

的末尾得到一个现成的命令，可以从Google Cloud SDK命令提示符运行

基本上，它显示所有信息，如作业开始时间、结束时间、不良记录数、插入记录数等

我可以在云SDK控制台上看到这些信息，但这些信息存储在哪里？ 我查看了stackdriver日志，它有前一天的数据，甚至没有云SDK控制台上显示的完整信息

如果我想导出这些信息并加载到BigQuery中，我可以从哪里获得它

---

更新：这是可能的，我在Stackdriver日志查看器中添加filter

resource.type=“bigquery\u resource”

时发现了这些信息，但它会将CreateTime、StartTime和EndTime等时间戳信息显示为

1970-01-01T00:00:00Z

您可以将这些日志导出到google cloud bucket中。在stackdriver中，单击CreateExport，然后创建sink，提供sink名称和sink目的地（显然是bucket路径）。现在，下一次作业开始时，所有日志都会导出，您可以进一步使用这些日志

你能澄清你的问题吗？这个命令来自哪里？谁将其发布到日志中？您谈论的是Stackdriver日志，还是主程序发出的常规调试日志，还是Dataflow作业页面上可见的数据流日志？您想将哪些信息导出到bigquery？此命令来自何处？-->我通过Eclipse运行ApacheBeam作业，上面提到的命令出现在Eclipse的日志控制台上。然而，我仍然不明白你问题的其余部分。您将哪些信息称为“这些信息”？我知道您指的是哪条日志消息-->我想将这些日志导出到BigQuery。虽然我可以从Stackdriver中导出，但创建时间、开始时间和结束时间等时间戳显示的是“1970-01-01T00:00:00Z”，而不是实际的日期和时间。对不起，我仍然不明白你在问什么。管道记录一条消息，其中包含一个“bq show-j…”形式的命令，您想要一个包含这些命令的字符串形式的BigQuery表吗？或者您想要一个包含这些命令结果的BigQuery表，即包含项目中所有数据流管道启动的所有BigQuery加载作业的统计信息的BigQuery表？或者在项目中的所有BigQuery加载作业中，句号？（不幸的是，我认为这两个都不可能，但我还是想了解您的用例）这部分是正确的，但请参阅更新以了解完整的需求。很抱歉编辑了。