在scala中将列datatpe动态转换为ArrayType(Double)
我有一个从json文件构建的数据框架,格式如下: 这一模式被推断为 问:我想将已知列列表(如min和max)数据类型从ArrayType(Long)转换为ArrayType(Double)。 注意事项: 有时它们已经是ArrayType(Double)类型,有时它们只是“String”或“Integer”类型,而且总列数不是固定的,可以有“n”个额外的列 在检查这些列的数据类型后,如何在运行时转换这些选定列的架构 给定输入: 数据帧在scala中将列datatpe动态转换为ArrayType(Double),scala,apache-spark,Scala,Apache Spark,我有一个从json文件构建的数据框架,格式如下: 这一模式被推断为 问:我想将已知列列表(如min和max)数据类型从ArrayType(Long)转换为ArrayType(Double)。 注意事项: 有时它们已经是ArrayType(Double)类型,有时它们只是“String”或“Integer”类型,而且总列数不是固定的,可以有“n”个额外的列 在检查这些列的数据类型后,如何在运行时转换这些选定列的架构 给定输入: 数据帧 列列表的名称,数据类型需要更改为ArrayType(
列列表的名称,数据类型需要更改为ArrayType(Double)。下面是解决方案不工作吗?下面是解决方案不工作吗?
{"max": [10,10,10],"min":[1,1,1],"id1":[1,2], "cId":"1", ... }
root
max: array,
element: long
min: array
element: long
more columns here ...