Apache spark Spark读取多个模式不同的拼花地板文件时会发生什么情况?

Apache spark Spark读取多个模式不同的拼花地板文件时会发生什么情况?,apache-spark,parquet,Apache Spark,Parquet,鉴于以下情况 scala> sqlContext.read.parquet("/test-data/foo.parquet").printSchema() root |-- key: string (nullable = true) |-- value: integer (nullable = true) scala> sqlContext.read.parquet("/test-data/bar.parquet").printSchema() root |-- _1: s

鉴于以下情况

scala> sqlContext.read.parquet("/test-data/foo.parquet").printSchema()
root
 |-- key: string (nullable = true)
 |-- value: integer (nullable = true)


scala> sqlContext.read.parquet("/test-data/bar.parquet").printSchema()
root
 |-- _1: string (nullable = true)
 |-- _2: integer (nullable = true)
如果您执行以下操作,它会同时读取两个文件吗

scala> sqlContext.read.parquet("/test-data/*.parquet").show()
请注意,数据类型是相同的;只有列名不同。

如果设置
选项(“mergeSchema”,“true”)
Spark将自动合并架构