Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
在scala中将列datatpe动态转换为ArrayType(Double)_Scala_Apache Spark - Fatal编程技术网

在scala中将列datatpe动态转换为ArrayType(Double)

在scala中将列datatpe动态转换为ArrayType(Double),scala,apache-spark,Scala,Apache Spark,我有一个从json文件构建的数据框架,格式如下: 这一模式被推断为 问:我想将已知列列表(如min和max)数据类型从ArrayType(Long)转换为ArrayType(Double)。   注意事项: 有时它们已经是ArrayType(Double)类型,有时它们只是“String”或“Integer”类型,而且总列数不是固定的,可以有“n”个额外的列 在检查这些列的数据类型后,如何在运行时转换这些选定列的架构 给定输入: 数据帧 列列表的名称,数据类型需要更改为ArrayType(

我有一个从json文件构建的数据框架,格式如下:

这一模式被推断为

问:我想将已知列列表(如min和max)数据类型从ArrayType(Long)转换为ArrayType(Double)。   注意事项:

有时它们已经是ArrayType(Double)类型,有时它们只是“String”或“Integer”类型,而且总列数不是固定的,可以有“n”个额外的列

在检查这些列的数据类型后,如何在运行时转换这些选定列的架构

给定输入:

数据帧


列列表的名称,数据类型需要更改为ArrayType(Double)。

下面是解决方案不工作吗?下面是解决方案不工作吗?
{"max": [10,10,10],"min":[1,1,1],"id1":[1,2], "cId":"1", ... }
root
 max: array, 
     element: long
 min: array
     element: long
 more columns here ...