Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Scala 如何获取结构化流媒体中的记录数?_Scala_Apache Spark_Spark Streaming_Spark Structured Streaming - Fatal编程技术网

Scala 如何获取结构化流媒体中的记录数?

Scala 如何获取结构化流媒体中的记录数?,scala,apache-spark,spark-streaming,spark-structured-streaming,Scala,Apache Spark,Spark Streaming,Spark Structured Streaming,我有一个spark结构化流媒体,一旦我有了正确的记录数,我就需要停止流媒体过程 到目前为止,我有一种方法可以在没有活动的特定时间间隔停止流式处理,如何包括一个计数器来获取计数并关闭流 val resultStream=furtherFlattening .writeStream .format("console") .option("truncate","false") .trigger

我有一个spark结构化流媒体,一旦我有了正确的记录数,我就需要停止流媒体过程

到目前为止,我有一种方法可以在没有活动的特定时间间隔停止流式处理,如何包括一个计数器来获取计数并关闭流

 val resultStream=furtherFlattening
      .writeStream
      .format("console")
      .option("truncate","false")
      .trigger(Trigger.ProcessingTime(5, TimeUnit.SECONDS))
      //. trigger(Trigger.ProcessingTime(5, TimeUnit.MINUTES))
      .start()

      .awaitTermination()


def stopStreamQuery(query: StreamingQuery, awaitTerminationTimeMs: Long,spark:SparkSession) {

  while (query.isActive) {
    val msg = query.status.message
    if (!query.status.isDataAvailable
      && !query.status.isTriggerActive
      && !msg.equals("Initializing sources")) {
      query.stop()
      spark.close()
    }
    query.awaitTermination(awaitTerminationTimeMs)
  }
}