Google cloud dataflow 谷歌云数据流管道在大约25天后暂停

Google cloud dataflow 谷歌云数据流管道在大约25天后暂停,google-cloud-dataflow,apache-beam,Google Cloud Dataflow,Apache Beam,我们正在运行多个流数据流管道,这些管道最终总是挂起,需要在运行大约25天后重新启动 还有人看到这个吗 管道是否有最长运行时间 即使没有代码更改(例如,我们是否应该每2周?1周?重新启动管道一次),是否有任何建议的最佳做法可以更频繁地重新启动流作业 这里也发生了同样的事情。大约20天前,我们有一个数据流作业挂起,它从pubsub获取数据,这导致了我们的一个客户的数据丢失 昨天我们重新启动了dataflow作业,它已经再次被卡住了。我们在几个客户项目上运行此作业的多个副本,所有其他副本都运行良好,

我们正在运行多个流数据流管道,这些管道最终总是挂起,需要在运行大约25天后重新启动

  • 还有人看到这个吗

  • 管道是否有最长运行时间

  • 即使没有代码更改(例如,我们是否应该每2周?1周?重新启动管道一次),是否有任何建议的最佳做法可以更频繁地重新启动流作业


    • 这里也发生了同样的事情。大约20天前,我们有一个数据流作业挂起,它从pubsub获取数据,这导致了我们的一个客户的数据丢失

      昨天我们重新启动了dataflow作业,它已经再次被卡住了。我们在几个客户项目上运行此作业的多个副本,所有其他副本都运行良好,这似乎表明gcp数据流中存在一些错误

      此数据流作业在us-east1中使用Apache Beam SDK for Java 2.6.0运行

      这个问题似乎与

      有没有关于如何修理绞刑架的想法


      关于

      您使用的是什么版本的Beam?你说的重启到底是什么意思?您是更新您的工作,还是取消它并开始新的工作?(你的消息来源是什么?pubsub?)