Google bigquery 查找所有项目中的Bigquery表大小

Google bigquery 查找所有项目中的Bigquery表大小,google-bigquery,Google Bigquery,我们在Bigquery中维护一个表,该表从堆栈驱动程序日志中捕获所有活动日志。此表帮助我列出所有存在的表、用户、创建表的人、表上最后一个运行的命令是什么,等等,这些都跨越了我们组织中的项目和数据集。除了这些信息之外,我还需要我试图检查的表的表大小 我可以加入表和表_摘要,但是我需要明确指定要查询的项目和数据集,但我的驱动表包含多个项目和数据集的详细信息 是否有任何其他元数据表可以从中获取表大小,或者有任何日志可以加载到Bigquery表中以联接并获取所需结果您可以使用bq命令行工具。与: 这提供

我们在Bigquery中维护一个表,该表从堆栈驱动程序日志中捕获所有活动日志。此表帮助我列出所有存在的表、用户、创建表的人、表上最后一个运行的命令是什么,等等,这些都跨越了我们组织中的项目和数据集。除了这些信息之外,我还需要我试图检查的表的表大小

我可以加入表_摘要,但是我需要明确指定要查询的项目和数据集,但我的驱动表包含多个项目和数据集的详细信息


是否有任何其他元数据表可以从中获取表大小,或者有任何日志可以加载到Bigquery表中以联接并获取所需结果

您可以使用bq命令行工具。与:

这提供了numBytes、datasetId、projectId等。 通过脚本,您可以使用:

bq ls

并循环遍历每个项目中的数据集和表,以获取所需的信息。请记住,您也可以使用API或客户端库

我想从任何元数据表或一些可以加载到表中的日志中获取信息。但是,似乎没有包含该信息的日志或表。我想我必须创建一个单独的流程来循环项目和表的列表,以使用“bq ls”或“表”获取信息,并填充一个单独的表,该表可以在联接中使用。谢谢你,内森
bq ls