Scala Spark Structure streaming-使用窗口操作聚合数据，写入CSV文件为空 写入csv文件的聚合数据为空 无法将数据帧写入csv文件。生成空白CSV文件。 //Read from input path var dframe = spark

Spark Structure streaming-使用窗口操作聚合数据，写入CSV文件为空 写入csv文件的聚合数据为空 无法将数据帧写入csv文件。生成空白CSV文件。

//Read from input path
var dframe = sparksession.readStream
                           .option("schemaInference", "true")
                           .parquet("PATH...")
//Aggregate data with 60 mins window and with 10 mins water mark
val cols = groupCols.map(col) ++ Seq(window($"EVENT_TIME", "60 minutes"))
var aggDFrame = dframe.withWatermark("EVENT_TIME", "10 minutes")
                        .groupBy(cols: _*).agg(Rule_Agg)

//Write data to csv file.
val query1 = aggDFrame.writeStream
                        .format("csv")
                        .option("path", "C:\\nifi_data\\agg_csv_files")
                        .option("checkpointLocation", "C:\\nifi_data\\agg_checkpoint_AGG_WRITE" )
                        .start()