Apache spark 有没有办法在pyspark中获取列数据类型?
已经讨论过,在pyspark中查找列数据类型的方法是使用df.dtypes。问题在于,对于数组或结构之类的数据类型,您会得到类似于Apache spark 有没有办法在pyspark中获取列数据类型?,apache-spark,pyspark,Apache Spark,Pyspark,已经讨论过,在pyspark中查找列数据类型的方法是使用df.dtypes。问题在于,对于数组或结构之类的数据类型,您会得到类似于array或array的结果 问:是否有一种获取pyspark数据类型的本机方法?就像ArrayType(StringType,true)只需使用schema: df.schema[column_name].dataType dict(df.dtypes)[column\u name]也可以使用(谢谢@RobinL)。但请注意,您将以字符串名称而不是形式类型名称获取
array
或array
的结果
问:是否有一种获取pyspark数据类型的本机方法?就像
ArrayType(StringType,true)
只需使用schema
:
df.schema[column_name].dataType
dict(df.dtypes)[column\u name]
也可以使用(谢谢@RobinL)。但请注意,您将以字符串名称而不是形式类型名称获取数据类型;e、 例如,timestamp
vsTimestampType
。