Apache spark 属性错误:';结构类型';对象没有属性'_获取对象id';在写拼花文件时

Apache spark 属性错误:';结构类型';对象没有属性'_获取对象id';在写拼花文件时,apache-spark,pyspark,parquet,Apache Spark,Pyspark,Parquet,在pyspark中编写拼花地板文件时出现以下错误: AttributeError:'StructType'对象没有属性'\u get\u object\u id' 下面是我正在使用的命令: df.write.format("parquet").option("schema",output_schema).save("test/parquet") 数据帧(df)是通过读取csv文件创建的,其架构如下所示: StructType(List

在pyspark中编写拼花地板文件时出现以下错误:

AttributeError:'StructType'对象没有属性'\u get\u object\u id'

下面是我正在使用的命令:

df.write.format("parquet").option("schema",output_schema).save("test/parquet")
数据帧(df)是通过读取csv文件创建的,其架构如下所示:

StructType(List(StructField(ID,IntegerType,true),StructField(FIRST NAME,StringType,true)))
输出架构为

StructType(List(StructField(ID,IntegerType,true),StructField(FIRST_NAME,StringType,true)))

在将数据框写入拼花时不能指定模式,因为拼花本身包含模式信息

只需直接保存df,您的模式就会得到维护

df.write.format("parquet").save("test/parquet")

在将数据框写入拼花时不能指定模式,因为拼花本身包含模式信息

只需直接保存df,您的模式就会得到维护

df.write.format("parquet").save("test/parquet")

架构的列名(名字)有空格(“”),这在拼花地板中是不允许的,是的,我可以在数据框中重命名该列,但是没有任何方法再次给出完整的架构吗?在写入之前将架构传递给数据框
df=spark.createDataFrame(df.rdd,schema=schema)
schema的列名(名字)有空格(“”),这在拼花地板中是不允许的,是的,我可以在数据框中重命名该列,但是否无法再次给出完整的架构?在写入之前将架构传递给数据框
df=spark.createDataFrame(df.rdd,schema=schema)