Warning: file_get_contents(/data/phpspider/zhask/data//catemap/5/fortran/2.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Scala:如何按行连接多个Spark数据帧?_Scala_Apache Spark_Dataframe_Apache Spark Sql - Fatal编程技术网

Scala:如何按行连接多个Spark数据帧?

Scala:如何按行连接多个Spark数据帧?,scala,apache-spark,dataframe,apache-spark-sql,Scala,Apache Spark,Dataframe,Apache Spark Sql,已经讨论了如何使用unionAll按行合并两个数据帧 假设我不知道序列的长度,有没有一种方法可以在数据帧序列上应用unionAll(或类似的函数),而不循环和定义var 谢谢 private def unionAll(dataFrames: Seq[DataFrame], sqlContext: SQLContext): DataFrame = dataFrames match { case Nil => sqlContext.emptyDataFrame case head ::

已经讨论了如何使用
unionAll
按行合并两个数据帧

假设我不知道序列的长度,有没有一种方法可以在数据帧序列上应用
unionAll
(或类似的函数),而不循环和定义
var

谢谢

private def unionAll(dataFrames: Seq[DataFrame], sqlContext: SQLContext): DataFrame = dataFrames match {
  case Nil => sqlContext.emptyDataFrame
  case head :: Nil => head
  case head :: tail => head.unionAll(unionAll(tail, sqlContext))
}
第二种情况是为了防止尝试将空DF(没有正确的模式)与非空DF合并

这确实假设如果列表不是空的,则所有数据帧共享相同的模式