Google cloud dataflow 按大小(字节数)或计数的波束窗口

Google cloud dataflow 按大小(字节数)或计数的波束窗口,google-cloud-dataflow,apache-beam,Google Cloud Dataflow,Apache Beam,我需要一种启动窗口的方法,基于达到指定限制的计数或窗口中达到指定大小(字节计数)的数据。我确实发现数据驱动触发器是基于计数的,但不是基于字节数的,如果存在字节数,就有可能从两个字节中生成一个复合触发器。 有没有办法做到这一点?没有办法用触发器来实现这一点 最好的选择是在ParDo中使用state,这将允许您以持久的方式跟踪您想要的任何内容。状态的范围由窗口决定,所以您可以为该键和窗口缓冲处于状态的元素,直到达到阈值 有关详细信息,请参阅。遗憾的是,当前不支持基于累积消息大小设置触发器选项。请在其

我需要一种启动窗口的方法,基于达到指定限制的计数或窗口中达到指定大小(字节计数)的数据。我确实发现数据驱动触发器是基于计数的,但不是基于字节数的,如果存在字节数,就有可能从两个字节中生成一个复合触发器。
有没有办法做到这一点?

没有办法用触发器来实现这一点

最好的选择是在ParDo中使用state,这将允许您以持久的方式跟踪您想要的任何内容。状态的范围由窗口决定,所以您可以为该键和窗口缓冲处于状态的元素,直到达到阈值


有关详细信息,请参阅。

遗憾的是,当前不支持基于累积消息大小设置触发器选项。请在其他Stackoverflow中寻找解决方法,如果对您有帮助,请告诉我。建议的解决方案是基于链接的文档实现一个定制的编写器。它可能会帮助您在正确的轨道上实现自己的解决方案。