Google cloud dataflow 当管道中的分支抛出异常时会发生什么

Google cloud dataflow 当管道中的分支抛出异常时会发生什么,google-cloud-dataflow,Google Cloud Dataflow,比方说,如果我的管道使用来自Kafka的数据,并且有两个分支。第一个分支写入某个数据存储,第二个分支生成所看到的事件计数,两者都属于同一个窗口。如果在向数据存储发出api请求时抛出异常,而第二个异常从未抛出,会发生什么情况?也就是说,数据流是否会停止从Kafka提取数据,并等待第一个分支恢复,或者由于第二个分支运行良好,它是否会继续缓冲数据 将重试异常 如果这是一个批处理管道,将重试多次;如果不成功,整个管道将失败 如果这是一个流式管道,将重试,直到成功。同时,管道的其余部分将继续处理数据。如

比方说,如果我的管道使用来自Kafka的数据,并且有两个分支。第一个分支写入某个数据存储,第二个分支生成所看到的事件计数,两者都属于同一个窗口。如果在向数据存储发出api请求时抛出异常,而第二个异常从未抛出,会发生什么情况?也就是说,数据流是否会停止从Kafka提取数据,并等待第一个分支恢复,或者由于第二个分支运行良好,它是否会继续缓冲数据

将重试异常

  • 如果这是一个批处理管道,将重试多次;如果不成功,整个管道将失败

  • 如果这是一个流式管道,将重试,直到成功。同时,管道的其余部分将继续处理数据。如果异常继续发生,则需要修复代码并更新管道


目前是,但这不是确切的保证。