Google bigquery BigQuery加载拼花地板错误-拼花地板中的字段INT32与架构中的双精度字段类型不兼容

Google bigquery BigQuery加载拼花地板错误-拼花地板中的字段INT32与架构中的双精度字段类型不兼容,google-bigquery,Google Bigquery,我试图将拼花地板文件列表加载到BigQuery表中,但出现错误: bq --location=EU load --source_format=PARQUET project:Input.k_2017_11_new "gs://my_bucket/2017_11/11/*.parquet" 正在等待bqjob_r557b5eb5986df8a0_00000 16855915D09_1。。。(34s)当前状态:完成 加载操作中的BigQuery错误:处理作业时出错 “项目:bqjob_r557b5

我试图将拼花地板文件列表加载到BigQuery表中,但出现错误:

bq --location=EU load --source_format=PARQUET project:Input.k_2017_11_new "gs://my_bucket/2017_11/11/*.parquet"
正在等待bqjob_r557b5eb5986df8a0_00000 16855915D09_1。。。(34s)当前状态:完成

加载操作中的BigQuery错误:处理作业时出错 “项目:bqjob_r557b5eb5986df8a0_U0000016855915D09_1”:错误 正在读取数据,错误消息:字段类型不兼容 “data.list.element.p”:拼花地板中的INT32与模式中的double

我实际上不需要导致错误的字段,但无法找到跳过此列的方法

这个问题有解决办法吗


我曾尝试使用json文件指定模式,并强制此字段为FLOAT或INT64字符串,但到目前为止没有任何效果。

我看到您正在使用cloudShell从parquet加载到BigQuery。尝试用JSON编写模式文件,将其复制或上载到cloudShell实例中,并在给出SOURCE-TO-PATH参数后调用该文件:

bq --location=EU load --source_format=PARQUET project:Input.k_2017_11_new "gs://my_bucket/2017_11/11/*.parquet" ./mySchema.json

我在使用python时遇到了类似的问题,在尝试写入bq时创建了一个附加列

“ignore Unknown Values”参数修复了我的问题,可以在