Scala 按对象数缩放窗口长度
我使用的是spark和scala,我想创建一个窗口操作,长度设置为对象数,即窗口开始为空,当流启动时,对象存储在窗口中,直到它容纳10个对象,当第11个对象出现时,第一个对象被丢弃 这是可能的还是必须使用其他结构,如列表或数组?文档()和一些谷歌搜索只涉及基于时间的窗口(长度和间隔)Scala 按对象数缩放窗口长度,scala,apache-spark,streaming,Scala,Apache Spark,Streaming,我使用的是spark和scala,我想创建一个窗口操作,长度设置为对象数,即窗口开始为空,当流启动时,对象存储在窗口中,直到它容纳10个对象,当第11个对象出现时,第一个对象被丢弃 这是可能的还是必须使用其他结构,如列表或数组?文档()和一些谷歌搜索只涉及基于时间的窗口(长度和间隔) 提前感谢。Spark streaming中的窗口具有窗口持续时间和滑动时间(可选)。因此,这是一个时间窗口。但是你可以考虑使用。它支持两者。但与Spark相比,Flink有另一种流媒体思想。它在传入事件到达时处理它
提前感谢。Spark streaming中的窗口具有
窗口持续时间
和滑动时间
(可选)。因此,这是一个时间窗口。但是你可以考虑使用。它支持两者。但与Spark相比,Flink有另一种流媒体思想。它在传入事件到达时处理它们(Spark以微批量处理事件)。因此,Flink可能有一些限制。如果适合您的需要,请尝试一下。谢谢您的意见。我会检查它。应该接受这个答案:)。有一个重复的问题引用了此,我们无法引用此,因为它未关闭。