Google cloud dataflow 在更新数据流管道时强制更新SideInput

Google cloud dataflow 在更新数据流管道时强制更新SideInput,google-cloud-dataflow,pipeline,apache-beam,Google Cloud Dataflow,Pipeline,Apache Beam,我有一个正在运行的数据流管道,它获取活动租户的配置(存储在GCS中),并将其作为侧输入馈送到ActiveTenantFilter。配置很少更新,因此我决定在更新管道时使用--update标志重新部署管道 但是,当使用update标志时,不会再次获取文件,即保持状态。是否可以强制在重新部署管道时更新此PCollectionView 您是正确的,当您更新管道时,它将处理新数据,但不会重新加载旧数据。这听起来像是你想要的,不幸的是还没有实现。您可以尝试排空并重新启动管道。在我的情况下,该作业是由Ter

我有一个正在运行的数据流管道,它获取活动租户的配置(存储在GCS中),并将其作为侧输入馈送到
ActiveTenantFilter
。配置很少更新,因此我决定在更新管道时使用
--update
标志重新部署管道

但是,当使用update标志时,不会再次获取文件,即保持状态。是否可以强制在重新部署管道时更新此
PCollectionView


您是正确的,当您更新管道时,它将处理新数据,但不会重新加载旧数据。这听起来像是你想要的,不幸的是还没有实现。您可以尝试排空并重新启动管道。

在我的情况下,该作业是由Terraform启动的。因此,排放和重新启动并非如此直接。最后,我决定在
FilterNonActive
tenants转换的
@setup
方法中获取配置。实际上,由于安装程序是在更新管道时重新执行的。将密切关注更新方的输入进度。谢谢你的回答@robertwb它似乎是通过
周期性脉冲
实现的,但我不太明白如何让它在本地工作。。