在PySpark中处理特定列数据类型
我有一个category和datetime64[ns]类型的熊猫数据框。在查看pyspark.sql.types中的Spark数据类型时，我找不到任何与Category等效的数据类型。有什么好的建议或方法来定义自定义数据类型吗 datetime64[ns]类型只能接受架构中的LongType，并且与DateType和TimestampType一起崩溃。比如说在PySpark中处理特定列数据类型,pyspark,pyspark-sql,Pyspark,Pyspark Sql,我有一个category和datetime64[ns]类型的熊猫数据框。在查看pyspark.sql.types中的Spark数据类型时，我找不到任何与Category等效的数据类型。有什么好的建议或方法来定义自定义数据类型吗 datetime64[ns]类型只能接受架构中的LongType，并且与DateType和TimestampType一起崩溃。比如说 2016-06-06 07:15:32.112202 -> 1465197332112202000
2016-06-06 07:15:32.112202 -> 1465197332112202000