Apache spark Spark结构化流媒体中是否有与reduceByKeyAndWindow等价的内容?

Apache spark Spark结构化流媒体中是否有与reduceByKeyAndWindow等价的内容?,apache-spark,apache-spark-sql,spark-structured-streaming,Apache Spark,Apache Spark Sql,Spark Structured Streaming,我想利用Spark的结构化流媒体功能,但我需要在一个窗口内按键进行缩减。基本Spark Streaming支持一种名为ReduceByAndWindow的方法。我已经对Spark结构化流媒体文档进行了大量搜索,但没有找到任何与Spark流媒体的reduceByKeyAndWindow等效的内容 是否有结构化流操作的任何组合允许我在窗口内按键进行缩减?在结构化流行话中,reduceByAndWindow将是一个具有复合键的窗口聚合。 比如: stream.groupBy($“键”,窗口($“时间戳

我想利用Spark的结构化流媒体功能,但我需要在一个窗口内按键进行缩减。基本Spark Streaming支持一种名为
ReduceByAndWindow
的方法。我已经对Spark结构化流媒体文档进行了大量搜索,但没有找到任何与Spark流媒体的
reduceByKeyAndWindow
等效的内容


是否有结构化流操作的任何组合允许我在窗口内按键进行缩减?

在结构化流行话中,
reduceByAndWindow
将是一个具有复合键的窗口聚合。 比如:

stream.groupBy($“键”,窗口($“时间戳”,“5分钟”))
.agg(总和($“值”)为“总计”)

聚合可以是任何受支持的SQL函数。

这可能对您有所帮助: