Apache spark Spark结构化流媒体中是否有与reduceByKeyAndWindow等价的内容?
我想利用Spark的结构化流媒体功能,但我需要在一个窗口内按键进行缩减。基本Spark Streaming支持一种名为Apache spark Spark结构化流媒体中是否有与reduceByKeyAndWindow等价的内容?,apache-spark,apache-spark-sql,spark-structured-streaming,Apache Spark,Apache Spark Sql,Spark Structured Streaming,我想利用Spark的结构化流媒体功能,但我需要在一个窗口内按键进行缩减。基本Spark Streaming支持一种名为ReduceByAndWindow的方法。我已经对Spark结构化流媒体文档进行了大量搜索,但没有找到任何与Spark流媒体的reduceByKeyAndWindow等效的内容 是否有结构化流操作的任何组合允许我在窗口内按键进行缩减?在结构化流行话中,reduceByAndWindow将是一个具有复合键的窗口聚合。 比如: stream.groupBy($“键”,窗口($“时间戳
ReduceByAndWindow
的方法。我已经对Spark结构化流媒体文档进行了大量搜索,但没有找到任何与Spark流媒体的reduceByKeyAndWindow
等效的内容
是否有结构化流操作的任何组合允许我在窗口内按键进行缩减?在结构化流行话中,
reduceByAndWindow
将是一个具有复合键的窗口聚合。
比如:
stream.groupBy($“键”,窗口($“时间戳”,“5分钟”))
.agg(总和($“值”)为“总计”)
聚合可以是任何受支持的SQL函数。这可能对您有所帮助: