Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/joomla/2.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Python 无法合并类型<;类别';pyspark.sql.types.StringType'&燃气轮机;及<;类别';pyspark.sql.types.LongType'&燃气轮机;在databricks中_Python_Pyspark_Databricks - Fatal编程技术网

Python 无法合并类型<;类别';pyspark.sql.types.StringType'&燃气轮机;及<;类别';pyspark.sql.types.LongType'&燃气轮机;在databricks中

Python 无法合并类型<;类别';pyspark.sql.types.StringType'&燃气轮机;及<;类别';pyspark.sql.types.LongType'&燃气轮机;在databricks中,python,pyspark,databricks,Python,Pyspark,Databricks,我有一个数据帧df。我想把它转换成spark数据帧。所以我用运行时版本7在databricks中编写了它 df_s=spark.createDataFrame(df) 但我收到的错误消息如下所示 TypeError: value of map value of map field elements: Can not merge type <class 'pyspark.sql.types.StringType'> and <class 'pyspark.sql.types.L

我有一个数据帧df。我想把它转换成spark数据帧。所以我用运行时版本7在databricks中编写了它

df_s=spark.createDataFrame(df)
但我收到的错误消息如下所示

TypeError: value of map value of map field elements: Can not merge type <class 'pyspark.sql.types.StringType'> and <class 'pyspark.sql.types.LongType'>
TypeError:映射字段元素的映射值的值:无法合并类型和

我的数据框中没有任何字段名
映射值
。您能帮我解决这个问题吗?

请提供有关您的数据框的更多信息
df
您的数据框中可能有混合类型的列。仅供参考@mck,感谢您指向链接。但它在csv读取步骤中实现。导入csv后,如何在数据帧中实现相同的逻辑?您应该使用spark
spark.read.csv(…)直接读取csv
而不是使用pandas读取数据并将pandas数据框转换为spark数据框。请提供有关数据框的更多信息
df
您的pandas数据框中可能有混合类型的列。仅供参考@mck,感谢您指向链接。但它在csv读取步骤中实现。导入csv后,如何在数据框中实现相同的逻辑?您应该使用spark
spark.read.csv(…)
直接读取csv,而不是使用pandas读取csv并将pandas数据框转换为spark数据框。