Google cloud platform 如何获取管道的实际执行时间和数据流作业的VM启动持续时间

Google cloud platform 如何获取管道的实际执行时间和数据流作业的VM启动持续时间,google-cloud-platform,google-cloud-dataflow,dataflow,apache-beam,Google Cloud Platform,Google Cloud Dataflow,Dataflow,Apache Beam,我想得到两个持续时间:部署在计算引擎中的虚拟机的确切启动时间,以及数据流作业结束时管道的实际执行时间(这比作业在数据流网站上显示的时间要短得多) 我需要从Java获取这些持续时间,如果我可以直接从Google Cloud网站获取这些值也可以。是否要对运行的每个管道都执行此操作?您可以添加一个分布度量来聚合管道中第一个和最后一个pardo的时间戳。如果您只需要一个估计值,您可以运行一个空管道(例如,Create([1])| Map(lamba x:x)),并查看运行所需的时间。你有什么特别的原因需

我想得到两个持续时间:部署在计算引擎中的虚拟机的确切启动时间,以及数据流作业结束时管道的实际执行时间(这比作业在数据流网站上显示的时间要短得多)


我需要从Java获取这些持续时间,如果我可以直接从Google Cloud网站获取这些值也可以。

是否要对运行的每个管道都执行此操作?您可以添加一个分布度量来聚合管道中第一个和最后一个pardo的时间戳。如果您只需要一个估计值,您可以运行一个空管道(例如,
Create([1])| Map(lamba x:x)
),并查看运行所需的时间。你有什么特别的原因需要这样做吗?+1给巴勃罗;此外,“虚拟机的启动时间”也没有明确定义。虚拟机的数量随着时间的推移而变化,因此在作业运行时可能会启动和停止一些虚拟机;即使是初始数量的虚拟机,它们也是并行启动的,每个虚拟机在不同的时间启动;在VM的生命中有不同的点,当你可以认为它是“开始”的时候:例如,你感兴趣的是“VM是通电的”,“它已经启动了OS”,还是“它已经启动了数据流工作者进程”等等?关机同样是模糊和并行的,它不仅仅包括关闭虚拟机。了解您的用例会有所帮助。您想对运行的每个管道都这样做吗?您可以添加一个分布度量来聚合管道中第一个和最后一个pardo的时间戳。如果您只需要一个估计值,您可以运行一个空管道(例如,
Create([1])| Map(lamba x:x)
),并查看运行所需的时间。你有什么特别的原因需要这样做吗?+1给巴勃罗;此外,“虚拟机的启动时间”也没有明确定义。虚拟机的数量随着时间的推移而变化,因此在作业运行时可能会启动和停止一些虚拟机;即使是初始数量的虚拟机,它们也是并行启动的,每个虚拟机在不同的时间启动;在VM的生命中有不同的点,当你可以认为它是“开始”的时候:例如,你感兴趣的是“VM是通电的”,“它已经启动了OS”,还是“它已经启动了数据流工作者进程”等等?关机同样是模糊和并行的,它不仅仅包括关闭虚拟机。了解您的用例会有所帮助。