Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
从spark scala中case类类型的列中提取数据时出错_Scala_Apache Spark - Fatal编程技术网

从spark scala中case类类型的列中提取数据时出错

从spark scala中case类类型的列中提取数据时出错,scala,apache-spark,Scala,Apache Spark,我正在尝试分解和检索数据,但在尝试将列转换为case类时,遇到了类转换异常。 val explodedDF=inputD.withColumn(“employee_explode”,explode(input.col(“employees”)) 我可以分解员工列表,但当我试图从员工获取第一个名称时,我得到一个类强制转换异常,表示column不能转换为Employee类型函数col返回一个Spark列,您正试图从一个列类型构建员工的实例。要将数据帧的数据转换为Spark类型(案例类),您必须阅读有

我正在尝试分解和检索数据,但在尝试将列转换为case类时,遇到了类转换异常。 val explodedDF=inputD.withColumn(“employee_explode”,explode(input.col(“employees”))


我可以分解员工列表,但当我试图从员工获取第一个名称时,我得到一个类强制转换异常,表示column不能转换为Employee类型

函数col返回一个Spark列,您正试图从一个列类型构建员工的实例。要将数据帧的数据转换为Spark类型(案例类),您必须阅读有关数据集或RDD的内容

Employee是一个嵌套表,我正在获取一个员工列表作为我的数据集的一部分,我正在尝试将其展平。我的场景是,我想从另一列创建一个列,该列是另一个案例类的实例。
val resultDS = explodedDF.withColumn("first_name", **col(col("employee_explode").asInstanceOf[Employee].first_name**))