Google cloud dataflow 在谷歌云中,如何查看与gPubSub主题/订阅匹配的所有数据流源/汇?

Google cloud dataflow 在谷歌云中,如何查看与gPubSub主题/订阅匹配的所有数据流源/汇?,google-cloud-dataflow,google-cloud-pubsub,Google Cloud Dataflow,Google Cloud Pubsub,我们有大约100个Google Cloud PubSub主题/订阅、数据流和BigQuery/BigTable表 我可以列出子主题: gcloud测试版发布子主题列表 我可以使用xargs,并为每个主题列出订阅内容: gcloud beta pubsub topics列表订阅$topic\u id 我可以列出所有BigQuery表: bq ls[项目id:[数据集id] 和所有BigTable表格: cbt-项目$project-实例$instance ls 我可以列出所有正在运

我们有大约100个Google Cloud PubSub主题/订阅、数据流和BigQuery/BigTable表

我可以列出子主题

gcloud测试版发布子主题列表
我可以使用xargs,并为每个主题列出订阅内容

gcloud beta pubsub topics列表订阅$topic\u id

我可以列出所有BigQuery表

bq ls[项目id:[数据集id]
和所有BigTable表格

cbt-项目$project-实例$instance ls

我可以列出所有正在运行的数据流作业

gcloud beta数据流作业列表--状态=活动
但我无法列出所有源和汇

gcloud beta数据流作业描述$job\u id
-不显示此信息

如果我们有1000个流、队列和表,我看不出我们如何能够轻松跟踪这种复杂性


我的问题是:使用谷歌云工具(控制台和/或CLU),我如何获得系统流源和汇的鸟瞰图,并避免分布式意大利面?

控制台中提供了每个作业的一些信息

如果您单击say,a PubSubIO.Read步骤,您可以在那里看到PubSubIO主题。在管道摘要中,可以看到管道选项,这些选项可以包含输出表名称和指定的其他选项

后一个摘要在CLI中提供。当您使用“-full”检索信息时,它位于“displayData”下