Amazon web services AWS雅典娜：配置单元\u无法\u打开\u拆分：打开配置单元拆分时出错，查询拼花文件时架构不匹配

蜂巢无法打开分割：错误打开蜂巢分割s3://exp mahesh sandbox/Demo/Year=2017/Month=1/Day=3/part-00015-d0e1263a-616e-435f-b4f4-9154afb3f07d.c000.snapy.parquet（偏移量=0，长度=12795）：模式不匹配，行列统计的元存储模式有17个字段，但拼花模式有9个字段

我已经使用AWS Glue crawler来获取拼花地板文件的模式。最初，我在Day=1和Day=2分区中有几个文件，运行crawler并能够使用Athena查询它。在分区Day=3中添加了几个文件后，其中带有“statistic”（type:struct）列的文件模式缺少一些字段，Athena抛出了上述错误。 有没有办法解决这个问题。我希望缺少的字段中有空值

我曾尝试在爬虫程序的数据目录选项中更新表定义，但它给出了相同的结果

---

您之所以会出现此错误，是因为至少有一个拼花地板文件的模式与组成表格的其他文件或表格定义本身不同；它似乎是您的“Day=3”分区

这是Athena中的一个限制，要求作为表数据源的文件具有相同的模式，即所有文件的列都需要匹配Athena的表定义，甚至是结构成员

尽管胶水爬虫程序成功运行，但仍会发生此错误；爬虫程序确实更新了表定义，但当您执行的查询涉及具有不同架构的文件（例如缺少列）时，您会收到一个配置单元\u无法\u打开\u拆分错误