Apache spark 使用列中的前n个值创建Spark流数据帧
目前我正在Scala中使用Spark 2.2.1。假设我有一个流数据帧“streamDF”。然后我有colCountsStreamDF,它是:Apache spark 使用列中的前n个值创建Spark流数据帧,apache-spark,spark-dataframe,spark-structured-streaming,Apache Spark,Spark Dataframe,Spark Structured Streaming,目前我正在Scala中使用Spark 2.2.1。假设我有一个流数据帧“streamDF”。然后我有colCountsStreamDF,它是: val colCountsStreamDF=streamDF.groupBy($"colName").count() 如何创建包含“n”个顶部计数的流式数据帧 我尝试使用take()、head()、limit(),但这些函数要么不适用于流数据帧,要么不返回流数据帧 我将感谢您的帮助。如何通过在接收拼花文件的路径上使用readStream来获得strea
val colCountsStreamDF=streamDF.groupBy($"colName").count()
如何创建包含“n”个顶部计数的流式数据帧
我尝试使用take()、head()、limit(),但这些函数要么不适用于流数据帧,要么不返回流数据帧
我将感谢您的帮助。如何通过在接收拼花文件的路径上使用readStream来获得
streamDF
。val streamDF=spark.readStream.schema(schema).option(“maxFilesPerTrigger”,1).parquet(path)val streamDF=spark.readStream.schema(schema).option(“maxFilesPerTrigger”,1).parquet(path)