Python 无法合并类型<;类别';pyspark.sql.types.StringType'&燃气轮机;及<;类别';pyspark.sql.types.LongType'&燃气轮机;在databricks中
我有一个数据帧df。我想把它转换成spark数据帧。所以我用运行时版本7在databricks中编写了它Python 无法合并类型<;类别';pyspark.sql.types.StringType'&燃气轮机;及<;类别';pyspark.sql.types.LongType'&燃气轮机;在databricks中,python,pyspark,databricks,Python,Pyspark,Databricks,我有一个数据帧df。我想把它转换成spark数据帧。所以我用运行时版本7在databricks中编写了它 df_s=spark.createDataFrame(df) 但我收到的错误消息如下所示 TypeError: value of map value of map field elements: Can not merge type <class 'pyspark.sql.types.StringType'> and <class 'pyspark.sql.types.L
df_s=spark.createDataFrame(df)
但我收到的错误消息如下所示
TypeError: value of map value of map field elements: Can not merge type <class 'pyspark.sql.types.StringType'> and <class 'pyspark.sql.types.LongType'>
TypeError:映射字段元素的映射值的值:无法合并类型和
我的数据框中没有任何字段名
映射值
。您能帮我解决这个问题吗?请提供有关您的数据框的更多信息df
您的数据框中可能有混合类型的列。仅供参考@mck,感谢您指向链接。但它在csv读取步骤中实现。导入csv后,如何在数据帧中实现相同的逻辑?您应该使用sparkspark.read.csv(…)直接读取csv
而不是使用pandas读取数据并将pandas数据框转换为spark数据框。请提供有关数据框的更多信息df
您的pandas数据框中可能有混合类型的列。仅供参考@mck,感谢您指向链接。但它在csv读取步骤中实现。导入csv后,如何在数据框中实现相同的逻辑?您应该使用sparkspark.read.csv(…)
直接读取csv,而不是使用pandas读取csv并将pandas数据框转换为spark数据框。