Scala Spark结构化流:获取第二行1分钟窗口聚合
我使用的是spark结构化流媒体,我需要从窗口的第二行获取值 假设这是我的1分钟窗口中的数据Scala Spark结构化流:获取第二行1分钟窗口聚合,scala,apache-spark,apache-spark-sql,spark-structured-streaming,Scala,Apache Spark,Apache Spark Sql,Spark Structured Streaming,我使用的是spark结构化流媒体,我需要从窗口的第二行获取值 假设这是我的1分钟窗口中的数据 || second | col1 | col 2 || =========================== 1 a b 2 c d . . . 60 x y 因此,基本上我想引用windows聚合中的第二行,即 || second | col1 | col 2 ||
|| second | col1 | col 2 ||
===========================
1 a b
2 c d
. . .
60 x y
因此,基本上我想引用windows聚合中的第二行,即
|| second | col1 | col 2 ||
===========================
2 c d
我能够在聚合操作中轻松引用第一个和最后一个,因为有first()和last()函数可用
val aggregates = dataEvents
.withWatermark("timestamp", "5 seconds")
.groupBy(window($"timestamp", "1 minute", "1 minute", "0 seconds"))
.agg(
first("col1").alias("first"), // This i have to make from second row.
last("col1").alias("last")
)