Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark 使用列中的前n个值创建Spark流数据帧_Apache Spark_Spark Dataframe_Spark Structured Streaming - Fatal编程技术网

Apache spark 使用列中的前n个值创建Spark流数据帧

Apache spark 使用列中的前n个值创建Spark流数据帧,apache-spark,spark-dataframe,spark-structured-streaming,Apache Spark,Spark Dataframe,Spark Structured Streaming,目前我正在Scala中使用Spark 2.2.1。假设我有一个流数据帧“streamDF”。然后我有colCountsStreamDF,它是: val colCountsStreamDF=streamDF.groupBy($"colName").count() 如何创建包含“n”个顶部计数的流式数据帧 我尝试使用take()、head()、limit(),但这些函数要么不适用于流数据帧,要么不返回流数据帧 我将感谢您的帮助。如何通过在接收拼花文件的路径上使用readStream来获得strea

目前我正在Scala中使用Spark 2.2.1。假设我有一个流数据帧“streamDF”。然后我有colCountsStreamDF,它是:

val colCountsStreamDF=streamDF.groupBy($"colName").count()
如何创建包含“n”个顶部计数的流式数据帧

我尝试使用take()、head()、limit(),但这些函数要么不适用于流数据帧,要么不返回流数据帧


我将感谢您的帮助。

如何通过在接收拼花文件的路径上使用readStream来获得
streamDF
。val streamDF=spark.readStream.schema(schema).option(“maxFilesPerTrigger”,1).parquet(path)
val streamDF=spark.readStream.schema(schema).option(“maxFilesPerTrigger”,1).parquet(path)