Google cloud dataflow 谷歌云数据流管道在大约25天后暂停
我们正在运行多个流数据流管道,这些管道最终总是挂起,需要在运行大约25天后重新启动Google cloud dataflow 谷歌云数据流管道在大约25天后暂停,google-cloud-dataflow,apache-beam,Google Cloud Dataflow,Apache Beam,我们正在运行多个流数据流管道,这些管道最终总是挂起,需要在运行大约25天后重新启动 还有人看到这个吗 管道是否有最长运行时间 即使没有代码更改(例如,我们是否应该每2周?1周?重新启动管道一次),是否有任何建议的最佳做法可以更频繁地重新启动流作业 这里也发生了同样的事情。大约20天前,我们有一个数据流作业挂起,它从pubsub获取数据,这导致了我们的一个客户的数据丢失 昨天我们重新启动了dataflow作业,它已经再次被卡住了。我们在几个客户项目上运行此作业的多个副本,所有其他副本都运行良好,
- 还有人看到这个吗
- 管道是否有最长运行时间
- 即使没有代码更改(例如,我们是否应该每2周?1周?重新启动管道一次),是否有任何建议的最佳做法可以更频繁地重新启动流作业
- 这里也发生了同样的事情。大约20天前,我们有一个数据流作业挂起,它从pubsub获取数据,这导致了我们的一个客户的数据丢失
昨天我们重新启动了dataflow作业,它已经再次被卡住了。我们在几个客户项目上运行此作业的多个副本,所有其他副本都运行良好,这似乎表明gcp数据流中存在一些错误
此数据流作业在us-east1中使用Apache Beam SDK for Java 2.6.0运行
这个问题似乎与
有没有关于如何修理绞刑架的想法
关于您使用的是什么版本的Beam?你说的重启到底是什么意思?您是更新您的工作,还是取消它并开始新的工作?(你的消息来源是什么?pubsub?)