Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/scala/16.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Scala Spark结构化流:获取第二行1分钟窗口聚合_Scala_Apache Spark_Apache Spark Sql_Spark Structured Streaming - Fatal编程技术网

Scala Spark结构化流:获取第二行1分钟窗口聚合

Scala Spark结构化流:获取第二行1分钟窗口聚合,scala,apache-spark,apache-spark-sql,spark-structured-streaming,Scala,Apache Spark,Apache Spark Sql,Spark Structured Streaming,我使用的是spark结构化流媒体,我需要从窗口的第二行获取值 假设这是我的1分钟窗口中的数据 || second | col1 | col 2 || =========================== 1 a b 2 c d . . . 60 x y 因此,基本上我想引用windows聚合中的第二行,即 || second | col1 | col 2 ||

我使用的是spark结构化流媒体,我需要从窗口的第二行获取值

假设这是我的1分钟窗口中的数据

|| second | col1 | col 2 ||
===========================
     1        a      b
     2        c      d
     .        .      .
     60       x      y
因此,基本上我想引用windows聚合中的第二行,即

|| second | col1 | col 2 ||
===========================
     2        c      d
我能够在聚合操作中轻松引用第一个和最后一个,因为有first()和last()函数可用

 val aggregates = dataEvents
  .withWatermark("timestamp", "5 seconds")
  .groupBy(window($"timestamp", "1 minute", "1 minute", "0 seconds"))
  .agg(
    first("col1").alias("first"), // This i have to make from second row.
    last("col1").alias("last")
    )