Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/scala/19.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181

Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Scala 按对象数缩放窗口长度_Scala_Apache Spark_Streaming - Fatal编程技术网

Scala 按对象数缩放窗口长度

Scala 按对象数缩放窗口长度,scala,apache-spark,streaming,Scala,Apache Spark,Streaming,我使用的是spark和scala,我想创建一个窗口操作,长度设置为对象数,即窗口开始为空,当流启动时,对象存储在窗口中,直到它容纳10个对象,当第11个对象出现时,第一个对象被丢弃 这是可能的还是必须使用其他结构,如列表或数组?文档()和一些谷歌搜索只涉及基于时间的窗口(长度和间隔) 提前感谢。Spark streaming中的窗口具有窗口持续时间和滑动时间(可选)。因此,这是一个时间窗口。但是你可以考虑使用。它支持两者。但与Spark相比,Flink有另一种流媒体思想。它在传入事件到达时处理它

我使用的是spark和scala,我想创建一个窗口操作,长度设置为对象数,即窗口开始为空,当流启动时,对象存储在窗口中,直到它容纳10个对象,当第11个对象出现时,第一个对象被丢弃

这是可能的还是必须使用其他结构,如列表或数组?文档()和一些谷歌搜索只涉及基于时间的窗口(长度和间隔)


提前感谢。

Spark streaming中的窗口具有
窗口持续时间
滑动时间
(可选)。因此,这是一个时间窗口。但是你可以考虑使用。它支持两者。但与Spark相比,Flink有另一种流媒体思想。它在传入事件到达时处理它们(Spark以微批量处理事件)。因此,Flink可能有一些限制。如果适合您的需要,请尝试一下。

谢谢您的意见。我会检查它。应该接受这个答案:)。有一个重复的问题引用了此,我们无法引用此,因为它未关闭。