Apache spark 如何将配置单元元数据从属性文件传递到spark dataframe

Apache spark 如何将配置单元元数据从属性文件传递到spark dataframe,apache-spark,apache-spark-sql,apache-spark-dataset,spark-hive,Apache Spark,Apache Spark Sql,Apache Spark Dataset,Spark Hive,在读取源文件时,我需要从属性文件(列名及其数据类型)将Hive表的元数据作为模式传递 (下面是属性文件中的一个参数-以及一些其他参数,如表_name…等) hive_table_metadata=emp_name,StringType | emp_dt,DateType | emp_no,IntegerType 我想将其读入Spark数据帧并作为模式传递(同时我从源文件读取数据,如下所示) 有人能在这里提供一些意见或解决办法吗 下面我正在尝试,我可以传递列名(来自配置单元表元数据)…但不能将其数

在读取源文件时,我需要从属性文件(列名及其数据类型)将Hive表的元数据作为模式传递

(下面是属性文件中的一个参数-以及一些其他参数,如表_name…等)

hive_table_metadata=emp_name,StringType | emp_dt,DateType | emp_no,IntegerType

我想将其读入Spark数据帧并作为模式传递(同时我从源文件读取数据,如下所示)

有人能在这里提供一些意见或解决办法吗

下面我正在尝试,我可以传递列名(来自配置单元表元数据)…但不能将其数据类型作为配置单元表元数据的参数/参数传递,并在下面的代码中作为模式发送

val tbl_schema=StructType(配置单元表)元数据.split(“|”).map(字段名⇒ StructField(字段名,true)))
val readFileIn=spark.sqlContext.read
.格式(“csv”)
.schema(tbl_schema)
.load(“数据/源文件.csv”)
我将spark 2.x与Scala一起使用