Pyspark parquet中的Athena类型INT64与表架构中定义的类型double不兼容

Pyspark parquet中的Athena类型INT64与表架构中定义的类型double不兼容,pyspark,apache-spark-sql,aws-glue,amazon-athena,Pyspark,Apache Spark Sql,Aws Glue,Amazon Athena,我使用pyspark推断模式将数据从csv转换为拼花文件格式,并尝试使用Athena读取数据 df.printSchehma() test_num : double (nullable = true) Athena在使用Glue crawler创建表时也使用了双数据类型,我们无法查询具有以下问题的表 错误: test_num : type INT64 in parquet is incompatible with type double defined in table

我使用pyspark推断模式将数据从csv转换为拼花文件格式,并尝试使用Athena读取数据

    df.printSchehma()
    test_num : double (nullable = true)
Athena在使用Glue crawler创建表时也使用了双数据类型,我们无法查询具有以下问题的表

错误:

   test_num : type INT64 in parquet is incompatible with type double defined in table schema

有没有解决这个问题的建议?感谢您的帮助。

您可以在“粘合到整数”选项中更改表中的架构列。我已尝试过此选项,这次我看到以下错误“拼花中的双精度类型与表架构中定义的int类型不兼容”。您可能有多个拼花文件,该列的类型不同。检查生成这些拼花地板文件的方式,并验证它们是否都写入相同的类型。