Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/python/300.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Python 调用o168.showString时出错。org.apache.spark.sql.execution.datasources.SchemaColumnConvertNotSupportedException_Python_Amazon Web Services_Apache Spark_Parquet_Aws Glue - Fatal编程技术网

Python 调用o168.showString时出错。org.apache.spark.sql.execution.datasources.SchemaColumnConvertNotSupportedException

Python 调用o168.showString时出错。org.apache.spark.sql.execution.datasources.SchemaColumnConvertNotSupportedException,python,amazon-web-services,apache-spark,parquet,aws-glue,Python,Amazon Web Services,Apache Spark,Parquet,Aws Glue,在编写拼花地板文件或在AWS glue中使用df.show()时,会出现以下错误。这是在我使用模式读取拼花地板文件时发生的。我正在使用以下函数读取它 def parquet_to_dataframe(location,schema): csv_df = ( spark.read.option("header", True).schema(schema).parquet(location) ) return csv_df 如

在编写拼花地板文件或在AWS glue中使用df.show()时,会出现以下错误。这是在我使用模式读取拼花地板文件时发生的。我正在使用以下函数读取它

def parquet_to_dataframe(location,schema):
    csv_df = (
        spark.read.option("header", True).schema(schema).parquet(location)      
    )
    return csv_df

如果您对我的错误所在或应该修改的内容有任何帮助,我们将不胜感激。

您无需在阅读拼花地板文件时指定模式

下面的代码将向您显示数据

   df = spark.read.parquet(location)
   df.show(10, False)
如果你想把它转换成CSV,那就这么做吧

 df.write.csv(path=<location>, header='true')
df.write.csv(路径=,标题='true')
上述行将数据保存为csv文件


如果您需要帮助,请告诉我。

因此,当我在没有模式的情况下阅读时,它会抛出此错误。调用o67.parquet时出错。不支持拼花地板类型:INT32(UINT_8);