Google cloud platform 从Google云数据流收集应用程序指标

Google cloud platform 从Google云数据流收集应用程序指标,google-cloud-platform,google-cloud-dataflow,Google Cloud Platform,Google Cloud Dataflow,在Google cloud dataflow/Beam中,我们可以使用此工具收集应用程序指标,并使用另一个工具在应用程序中查询。但是我需要在Bigquery/Prometheus中保留这些指标,以实现实时监控和警报机制。请建议如何在谷歌云数据流中实现这一点。从数据流收集指标的最佳方法是使用,它允许从Stackdriver仪表板访问数据流作业指标,如作业状态、元素计数、系统延迟(用于流作业)和用户计数器。Stackdriver的另一个优点是警报功能,它将通知您各种情况,例如长时间的流媒体系统延迟或

在Google cloud dataflow/Beam中,我们可以使用此工具收集应用程序指标,并使用另一个工具在应用程序中查询。但是我需要在Bigquery/Prometheus中保留这些指标,以实现实时监控和警报机制。请建议如何在谷歌云数据流中实现这一点。

从数据流收集指标的最佳方法是使用,它允许从Stackdriver仪表板访问数据流作业指标,如作业状态、元素计数、系统延迟(用于流作业)和用户计数器。Stackdriver的另一个优点是警报功能,它将通知您各种情况,例如长时间的流媒体系统延迟或失败的作业

这里有一个方便的数据流可用指标,例如
job/is_failed
——很容易设置失败作业的警报

如果您喜欢使用图形用户界面来监控您的指标,请查看此

请注意,产品处于测试状态。我希望你觉得以上信息有用