Scala 如何获取结构化流媒体中的记录数?
我有一个spark结构化流媒体,一旦我有了正确的记录数,我就需要停止流媒体过程 到目前为止,我有一种方法可以在没有活动的特定时间间隔停止流式处理,如何包括一个计数器来获取计数并关闭流Scala 如何获取结构化流媒体中的记录数?,scala,apache-spark,spark-streaming,spark-structured-streaming,Scala,Apache Spark,Spark Streaming,Spark Structured Streaming,我有一个spark结构化流媒体,一旦我有了正确的记录数,我就需要停止流媒体过程 到目前为止,我有一种方法可以在没有活动的特定时间间隔停止流式处理,如何包括一个计数器来获取计数并关闭流 val resultStream=furtherFlattening .writeStream .format("console") .option("truncate","false") .trigger
val resultStream=furtherFlattening
.writeStream
.format("console")
.option("truncate","false")
.trigger(Trigger.ProcessingTime(5, TimeUnit.SECONDS))
//. trigger(Trigger.ProcessingTime(5, TimeUnit.MINUTES))
.start()
.awaitTermination()
def stopStreamQuery(query: StreamingQuery, awaitTerminationTimeMs: Long,spark:SparkSession) {
while (query.isActive) {
val msg = query.status.message
if (!query.status.isDataAvailable
&& !query.status.isTriggerActive
&& !msg.equals("Initializing sources")) {
query.stop()
spark.close()
}
query.awaitTermination(awaitTerminationTimeMs)
}
}