Google cloud dataflow 在谷歌云中,如何查看与gPubSub主题/订阅匹配的所有数据流源/汇?
我们有大约100个Google Cloud PubSub主题/订阅、数据流和BigQuery/BigTable表 我可以列出子主题:Google cloud dataflow 在谷歌云中,如何查看与gPubSub主题/订阅匹配的所有数据流源/汇?,google-cloud-dataflow,google-cloud-pubsub,Google Cloud Dataflow,Google Cloud Pubsub,我们有大约100个Google Cloud PubSub主题/订阅、数据流和BigQuery/BigTable表 我可以列出子主题: gcloud测试版发布子主题列表 我可以使用xargs,并为每个主题列出订阅内容: gcloud beta pubsub topics列表订阅$topic\u id 我可以列出所有BigQuery表: bq ls[项目id:[数据集id] 和所有BigTable表格: cbt-项目$project-实例$instance ls 我可以列出所有正在运
gcloud测试版发布子主题列表
我可以使用xargs,并为每个主题列出订阅内容:
gcloud beta pubsub topics列表订阅$topic\u id
我可以列出所有BigQuery表:
bq ls[项目id:[数据集id]
和所有BigTable表格:
cbt-项目$project-实例$instance ls
我可以列出所有正在运行的数据流作业:
gcloud beta数据流作业列表--状态=活动
但我无法列出所有源和汇:
gcloud beta数据流作业描述$job\u id
-不显示此信息
如果我们有1000个流、队列和表,我看不出我们如何能够轻松跟踪这种复杂性
我的问题是:使用谷歌云工具(控制台和/或CLU),我如何获得系统流源和汇的鸟瞰图,并避免分布式意大利面?控制台中提供了每个作业的一些信息 如果您单击say,a PubSubIO.Read步骤,您可以在那里看到PubSubIO主题。在管道摘要中,可以看到管道选项,这些选项可以包含输出表名称和指定的其他选项 后一个摘要在CLI中提供。当您使用“-full”检索信息时,它位于“displayData”下