Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark 有没有办法在pyspark中获取列数据类型?_Apache Spark_Pyspark - Fatal编程技术网

Apache spark 有没有办法在pyspark中获取列数据类型?

Apache spark 有没有办法在pyspark中获取列数据类型?,apache-spark,pyspark,Apache Spark,Pyspark,已经讨论过,在pyspark中查找列数据类型的方法是使用df.dtypes。问题在于,对于数组或结构之类的数据类型,您会得到类似于array或array的结果 问:是否有一种获取pyspark数据类型的本机方法?就像ArrayType(StringType,true)只需使用schema: df.schema[column_name].dataType dict(df.dtypes)[column\u name]也可以使用(谢谢@RobinL)。但请注意,您将以字符串名称而不是形式类型名称获取

已经讨论过,在pyspark中查找列数据类型的方法是使用df.dtypes。问题在于,对于数组或结构之类的数据类型,您会得到类似于
array
array
的结果


问:是否有一种获取pyspark数据类型的本机方法?就像
ArrayType(StringType,true)
只需使用
schema

df.schema[column_name].dataType
dict(df.dtypes)[column\u name]
也可以使用(谢谢@RobinL)。但请注意,您将以字符串名称而不是形式类型名称获取数据类型;e、 例如,
timestamp
vs
TimestampType