Google bigquery 将CSV上载到BigQuery失败

Google bigquery 将CSV上载到BigQuery失败,google-bigquery,Google Bigquery,我使用bigquery上传系统已经三个多月了,我每一个小时就把数据推到bigquery上一次,效果很好。但是从昨天开始,我所有的上传都失败了。bigquery控制台上的错误为“列太少:预期为11列,但得到9列”,第九个字段有一个新行字符,它位于双引号内。在过去的3个月里,它一直在发挥作用,但从昨天开始就失败了。有任何帮助吗?昨天,我们开始强制执行不允许引用换行符,除非传递了allowQuotedNewlines标志。 如果您使用的是bq工具,那么可以添加--allow_quoted_newlin

我使用bigquery上传系统已经三个多月了,我每一个小时就把数据推到bigquery上一次,效果很好。但是从昨天开始,我所有的上传都失败了。bigquery控制台上的错误为“列太少:预期为11列,但得到9列”,第九个字段有一个新行字符,它位于双引号内。在过去的3个月里,它一直在发挥作用,但从昨天开始就失败了。有任何帮助吗?

昨天,我们开始强制执行不允许引用换行符,除非传递了
allowQuotedNewlines
标志。 如果您使用的是bq工具,那么可以添加--allow_quoted_newlines标志。如果您使用的是java,则可以设置此选项。该标志已记录在案


默认情况下,不允许引用换行符使我们能够更高效地导入csv文件,因为我们可以将它们拆分为多个部分并并行导入。这转化为更快的进口,并允许我们扩展到更大的进口。

感谢jordan的快速响应,系统从昨天晚上开始工作,没有任何变化,那么,我应该添加标志还是保持代码不变呢?我们暂时将默认设置转回,以便在需要时给人们更多时间设置标志。因此,是的,您应该设置该标志,因为我们可能会在下周初将默认设置恢复为需要它。