Google cloud platform 谷歌云数据流管道设置

Google cloud platform 谷歌云数据流管道设置,google-cloud-platform,google-cloud-dataflow,Google Cloud Platform,Google Cloud Dataflow,我目前有一个管道设置,正在处理流式PubSub消息。由于这是一个流式管道,它将无限期地运行。我想知道两件事 是否存在这样一种情况,即这样一条正在运行的管道可能会在没有用户干预的情况下自动停止?比如,如果Pubsub在很长一段时间内没有消息等。。。如果是这样,那么我可能需要对管道的生命周期进行一些监控 我希望维护一个独特的管道——因此每次我希望进行更改时,我都希望先删除旧的管道,然后开始新的管道。我猜管道的名称唯一地标识了它,因此,当同名的旧管道正在运行时,我无法启动新管道。但是有没有一种方法可

我目前有一个管道设置,正在处理流式PubSub消息。由于这是一个流式管道,它将无限期地运行。我想知道两件事

  • 是否存在这样一种情况,即这样一条正在运行的管道可能会在没有用户干预的情况下自动停止?比如,如果Pubsub在很长一段时间内没有消息等。。。如果是这样,那么我可能需要对管道的生命周期进行一些监控
  • 我希望维护一个独特的管道——因此每次我希望进行更改时,我都希望先删除旧的管道,然后开始新的管道。我猜管道的名称唯一地标识了它,因此,当同名的旧管道正在运行时,我无法启动新管道。但是有没有一种方法可以让我用相同的名字终止并启动管道

    这两个问题都围绕着维护具有特定任务的管道。如果有任何关于这方面的最佳实践的资源,它也会很有帮助


对于第一个问题,流媒体管道没有自动机制或TTL——它们将一直运行,直到用户取消


对于管道维护,Dataflow具有“更新”功能,可用于使用新代码更新管道(同名):

谢谢。这很有帮助。我想我错过了文档中更新部分的阅读。