Google cloud platform Apache Beam-如何在PCollection上求和<;千伏<;字符串,Int>&燃气轮机;按键从所有窗口
给定一个带有固定时间窗口的Google cloud platform Apache Beam-如何在PCollection上求和<;千伏<;字符串,Int>&燃气轮机;按键从所有窗口,google-cloud-platform,google-cloud-dataflow,apache-beam,Google Cloud Platform,Google Cloud Dataflow,Apache Beam,给定一个带有固定时间窗口的PCollection,如何通过所有窗口中的字符串键对所有Int进行求和 e、 g PCollection pc=。。。; pc.apply(“FixedWindows”,Window.into(FixedWindows.of(WindowDuration))//应用固定窗口 如何在此设置中按每个键对所有窗口进行求和 我是否应该将Combine.GloballyAsSingletonView与自定义CombineFn一起使用?如果是这样,我应该如何实现它?Combi
PCollection
,如何通过所有窗口中的字符串
键对所有Int
进行求和
e、 g
PCollection pc=。。。;
pc.apply(“FixedWindows”,Window.into(FixedWindows.of(WindowDuration))//应用固定窗口
如何在此设置中按每个键对所有窗口进行求和
我是否应该将
Combine.GloballyAsSingletonView
与自定义CombineFn一起使用?如果是这样,我应该如何实现它?Combine始终适用于您应用的窗口。若要在所有元素之间求和,您需要先将窗口返回到GlobalWindowsCombine始终适用于您应用的窗口。若要在在所有元素中,您需要先将窗口返回到全局窗口,以防没有太多不同的键,并且求和结果小于长。MAX_值
,您可以使用,如计数器
。其中一个选项,以防没有太多不同的键,且求和结果小于大于Long.MAX\u VALUE
,您可以使用计数器来实现这一点。所有窗口的总和是什么意思?我有每小时的窗口,但我需要所有小时的总和。所以我希望所有窗口的总和我都有。所有窗口的总和是什么意思?例如,一天的所有窗口?所有窗口的总和是什么意思s?我有每小时一次的窗口,但我需要所有时间的总和。所以我希望对所有窗口进行总和。你对所有窗口的意思是什么?例如,一天的所有窗口?触发器如何?如果我在原始窗口上有早/时/晚触发器,并且我将窗口返回到1个全局窗口中,那么何时计算并发出结果d?您需要显式指定全局聚合所需的触发。触发器如何?如果我在原始窗口上有早/时/晚触发器,并且我将窗口返回到1个全局窗口,则何时计算并发出结果?您需要显式指定全局聚合所需的触发激动
PCollection<KV<String, Int>> pc = ...;
pc.apply("FixedWindows", Window.<~>into(FixedWindows.of(WindowDuration)) // apply fixed windowing