Google bigquery 由于架构不匹配,无法将avro文件加载到BigQuery

Google bigquery 由于架构不匹配,无法将avro文件加载到BigQuery,google-bigquery,avro,Google Bigquery,Avro,我不熟悉big query,我尝试将avro文件加载到bigQuery表。前两次我能够将avro文件加载到bigQuery表。第三次在Word上,它开始失败,错误消息为- Waiting on bqjob_r77fb1a791c9ab204_0000015c88ab3ad8_1 ... (0s) Current status: DONE BigQuery error in load operation: Error processing job 'xxx-yz- df:bqjob_r77fb1

我不熟悉big query,我尝试将avro文件加载到bigQuery表。前两次我能够将avro文件加载到bigQuery表。第三次在Word上,它开始失败,错误消息为-

Waiting on bqjob_r77fb1a791c9ab204_0000015c88ab3ad8_1 ... (0s) Current 
status: DONE BigQuery error in load operation: Error processing job 'xxx-yz-
df:bqjob_r77fb1a791c9ab204_0000015c88ab3ad8_1': Provided Schema does not 
match Table xxx-yz-df:adityadb.avro_poc3_part_stage$20120611.
我尝试了很多次。如果尝试两次以上,同一个文件的架构如何不匹配。我使用的load命令是-

bq load --source_format=AVRO adityadb.avro_poc3_part_stage$20120611 gs://reair_ddh/apps/hive/warehouse/adityadb1.db/avro_poc3_part_txt/ingestion_time=20120611/000000_0 

我不知道为什么会发生这种情况,任何帮助都将不胜感激。谢谢。

我查看了该作业,看起来field addr已从重复模式更改为可空模式。此字段是Avro文件中的数组还是并集?数组将成为BigQuery中的重复字段,类似[null,string]的并集将成为可为null的。此处的addr是struct。如果重复出现此问题,为什么允许加载两到三次数据。最近为Avro添加了此检查。它已经出现在其他格式中。我猜您之前的查询会影响运行旧版本的服务器。当所有服务器都更新时,将始终不允许重复为NULLABLE。我昨天尝试过。有时会加载数据,有时不会。何时添加此检查?我们上周开始推出。它仍在进行中,一些服务器尚未更新。