Fatal编程技术网
  • apache-spark/
  • Apache spark Spark读取多个模式不同的拼花地板文件时会发生什么情况？

Apache spark Spark读取多个模式不同的拼花地板文件时会发生什么情况？

apache-spark

Apache spark Spark读取多个模式不同的拼花地板文件时会发生什么情况？,apache-spark,parquet,Apache Spark,Parquet,鉴于以下情况 scala> sqlContext.read.parquet("/test-data/foo.parquet").printSchema() root |-- key: string (nullable = true) |-- value: integer (nullable = true) scala> sqlContext.read.parquet("/test-data/bar.parquet").printSchema() root |-- _1: s

鉴于以下情况

scala> sqlContext.read.parquet("/test-data/foo.parquet").printSchema()
root
 |-- key: string (nullable = true)
 |-- value: integer (nullable = true)


scala> sqlContext.read.parquet("/test-data/bar.parquet").printSchema()
root
 |-- _1: string (nullable = true)
 |-- _2: integer (nullable = true)
如果您执行以下操作，它会同时读取两个文件吗

scala> sqlContext.read.parquet("/test-data/*.parquet").show()
请注意，数据类型是相同的；只有列名不同。

如果设置
选项（“mergeSchema”，“true”）
Spark将自动合并架构