Google cloud platform 控制GCP数据流？_Google Cloud Platform_Google Cloud Functions_Google Cloud Dataflow

Google cloud platform 控制GCP数据流？

google-cloud-platform google-cloud-dataflow

Google cloud platform 控制GCP数据流？,google-cloud-platform,google-cloud-functions,google-cloud-dataflow,Google Cloud Platform,Google Cloud Functions,Google Cloud Dataflow,使用标准GCP提供的存储/文本文件发布子数据流模板，但尽管我已将#workernodes eq 1设置为下游组件处理的消息吞吐量为“高” 在Pub/Sub中的message事件上运行的CloudFunction会命中GCP配额，使用CloudRun，我在开始时会收到一堆500、429和503个错误（由于阶跃突发速率）有没有办法控制数据流的处理速度？需要更软/更慢的启动，以便下游组件有时间放大有人吗？您可以使用有状态的ParDo来实现这一点，在这种情况下，您可以成批缓冲事件，并同时使用所有键进

使用标准GCP提供的存储/文本文件发布子数据流模板，但尽管我已将#workernodes eq 1设置为下游组件处理的消息吞吐量为“高”

在Pub/Sub中的message事件上运行的CloudFunction会命中GCP配额，使用CloudRun，我在开始时会收到一堆500、429和503个错误（由于阶跃突发速率）

有没有办法控制数据流的处理速度？需要更软/更慢的启动，以便下游组件有时间放大

有人吗？

您可以使用有状态的ParDo来实现这一点，在这种情况下，您可以成批缓冲事件，并同时使用所有键进行API调用。这是非常好地解释了代码片段