Google cloud dataflow 动态查询使用google数据流的整个流?

Google cloud dataflow 动态查询使用google数据流的整个流?,google-cloud-dataflow,apache-beam,Google Cloud Dataflow,Apache Beam,我有一个数据流管道,用于接收信息(JSON)并将其转换为DTO,然后将其插入数据库。这对于insert非常有效,但我遇到的问题是如何处理删除记录。根据我收到的信息,JSON中有一个deleted标记,用于指定该记录实际被删除的时间。经过一些研究/实验,我不知道这是否可能 我的问题:是否有一种方法可以在流式处理时动态选择(或更改)管道使用的sql语句?要使用数据流实现这一点,您需要更多地考虑管道中的水流,而不是if-then-else编码 您需要将记录分类为插入和删除,并将每个记录集路由到一个不同

我有一个数据流管道,用于接收信息(JSON)并将其转换为DTO,然后将其插入数据库。这对于insert非常有效,但我遇到的问题是如何处理删除记录。根据我收到的信息,JSON中有一个deleted标记,用于指定该记录实际被删除的时间。经过一些研究/实验,我不知道这是否可能


我的问题:是否有一种方法可以在流式处理时动态选择(或更改)管道使用的sql语句?

要使用数据流实现这一点,您需要更多地考虑管道中的水流,而不是if-then-else编码

您需要将记录分类为插入和删除,并将每个记录集路由到一个不同的接收器,该接收器将执行您告诉它们的操作。你可以使用标签

在中,您可以使用标记来插入和删除,而不是startsWithATag和startsWithBTag