从spark scala中case类类型的列中提取数据时出错
我正在尝试分解和检索数据,但在尝试将列转换为case类时,遇到了类转换异常。 val explodedDF=inputD.withColumn(“employee_explode”,explode(input.col(“employees”))从spark scala中case类类型的列中提取数据时出错,scala,apache-spark,Scala,Apache Spark,我正在尝试分解和检索数据,但在尝试将列转换为case类时,遇到了类转换异常。 val explodedDF=inputD.withColumn(“employee_explode”,explode(input.col(“employees”)) 我可以分解员工列表,但当我试图从员工获取第一个名称时,我得到一个类强制转换异常,表示column不能转换为Employee类型函数col返回一个Spark列,您正试图从一个列类型构建员工的实例。要将数据帧的数据转换为Spark类型(案例类),您必须阅读有
我可以分解员工列表,但当我试图从员工获取第一个名称时,我得到一个类强制转换异常,表示column不能转换为Employee类型函数col返回一个Spark列,您正试图从一个列类型构建员工的实例。要将数据帧的数据转换为Spark类型(案例类),您必须阅读有关数据集或RDD的内容Employee是一个嵌套表,我正在获取一个员工列表作为我的数据集的一部分,我正在尝试将其展平。我的场景是,我想从另一列创建一个列,该列是另一个案例类的实例。
val resultDS = explodedDF.withColumn("first_name", **col(col("employee_explode").asInstanceOf[Employee].first_name**))