Python 调用o168.showString时出错。org.apache.spark.sql.execution.datasources.SchemaColumnConvertNotSupportedException
在编写拼花地板文件或在AWS glue中使用df.show()时,会出现以下错误。这是在我使用模式读取拼花地板文件时发生的。我正在使用以下函数读取它Python 调用o168.showString时出错。org.apache.spark.sql.execution.datasources.SchemaColumnConvertNotSupportedException,python,amazon-web-services,apache-spark,parquet,aws-glue,Python,Amazon Web Services,Apache Spark,Parquet,Aws Glue,在编写拼花地板文件或在AWS glue中使用df.show()时,会出现以下错误。这是在我使用模式读取拼花地板文件时发生的。我正在使用以下函数读取它 def parquet_to_dataframe(location,schema): csv_df = ( spark.read.option("header", True).schema(schema).parquet(location) ) return csv_df 如
def parquet_to_dataframe(location,schema):
csv_df = (
spark.read.option("header", True).schema(schema).parquet(location)
)
return csv_df
如果您对我的错误所在或应该修改的内容有任何帮助,我们将不胜感激。您无需在阅读拼花地板文件时指定模式 下面的代码将向您显示数据
df = spark.read.parquet(location)
df.show(10, False)
如果你想把它转换成CSV,那就这么做吧
df.write.csv(path=<location>, header='true')
df.write.csv(路径=,标题='true')
上述行将数据保存为csv文件
如果您需要帮助,请告诉我。因此,当我在没有模式的情况下阅读时,它会抛出此错误。调用o67.parquet时出错。不支持拼花地板类型:INT32(UINT_8);