Scala 在Flink中滑动车窗性能不佳

Scala 在Flink中滑动车窗性能不佳,scala,apache-flink,flink-streaming,Scala,Apache Flink,Flink Streaming,我使用此代码执行测试(): 有了这段代码,我每秒有65000多个输入 如果我改变 timeWindow(Time.minute(15)) 借 我的输入/秒少于2500 滑动窗口是否有更好的性能?对于15分钟的滚动窗口,每个传入事件都分配给一个窗口,而对于15分钟的滑动窗口和一秒钟的幻灯片,每个传入事件都复制到15*60=900个窗口。这显然会对性能产生影响 根据您的应用程序需求,通过使用ProcessFunction或实现自定义窗口逻辑,您可能能够以较少的开销计算所需的内容。例如,您可以预先聚

我使用此代码执行测试():

有了这段代码,我每秒有65000多个输入

如果我改变

timeWindow(Time.minute(15))

我的输入/秒少于2500


滑动窗口是否有更好的性能?

对于15分钟的滚动窗口,每个传入事件都分配给一个窗口,而对于15分钟的滑动窗口和一秒钟的幻灯片,每个传入事件都复制到15*60=900个窗口。这显然会对性能产生影响

根据您的应用程序需求,通过使用ProcessFunction或实现自定义窗口逻辑,您可能能够以较少的开销计算所需的内容。例如,您可以预先聚合到900个1秒窗口中,然后使用第二层窗口,通过减去即将到期的第二个窗口对总窗口的贡献,并将最近一秒的值相加,以增量方式调整15分钟的结果

timeWindow(Time.minute(15))
timeWindow(Time.minutes(15), Time.seconds(1))