Apache spark Spark读取多个模式不同的拼花地板文件时会发生什么情况?
鉴于以下情况Apache spark Spark读取多个模式不同的拼花地板文件时会发生什么情况?,apache-spark,parquet,Apache Spark,Parquet,鉴于以下情况 scala> sqlContext.read.parquet("/test-data/foo.parquet").printSchema() root |-- key: string (nullable = true) |-- value: integer (nullable = true) scala> sqlContext.read.parquet("/test-data/bar.parquet").printSchema() root |-- _1: s
scala> sqlContext.read.parquet("/test-data/foo.parquet").printSchema()
root
|-- key: string (nullable = true)
|-- value: integer (nullable = true)
scala> sqlContext.read.parquet("/test-data/bar.parquet").printSchema()
root
|-- _1: string (nullable = true)
|-- _2: integer (nullable = true)
如果您执行以下操作,它会同时读取两个文件吗
scala> sqlContext.read.parquet("/test-data/*.parquet").show()
请注意,数据类型是相同的;只有列名不同。如果设置选项(“mergeSchema”,“true”)
Spark将自动合并架构