Google cloud platform 计算总管道延迟（云功能->；发布/订阅->；数据流->；BQ）

我目前在GCP中有一个管道，它使用云函数接收数据，将数据存放到PubSub，在数据流中处理数据，最后将数据插入BigQuery。我试图计算从云函数摄取到BigQuery的平均消息传输时间（包括插入时间）

我了解Stackdriver指标/仪表盘以及GCP的API仪表盘。我试图简单地将每个服务的所有延迟值相加，但我不确定它是否涵盖了我无法控制的延迟（例如插入到BQ、从数据流推送到pubsub等等）

---

什么可用指标可以帮助我计算总体管道延迟？如果管道的一部分无法核算，是否有方法对其进行估算或使用外部工具进行计算

数据流显示了一个称为“系统延迟”的度量，它表示数据流管道的端到端延迟。这将帮助您了解管道的PubSub（输出）->Dataflow->BQ部分的延迟

虽然我自己没有使用过它，但您可以使用Stackdriver跟踪来跟踪云函数中的一些事件，并在数据流接收到相同的事件时进行跟踪。这将允许您测量管道的云函数->PubSub（in）->PubSub（output）部分的延迟

---

LMK如果这看起来是一条有趣的路径，我们可以尝试从中积累。

系统延迟包括从pubsub到数据流的时间是有道理的，但要确认，它还包括BQ插入时间？我不知道Stackdriver的踪迹！我会调查一下，让你知道结果如何！