Google bigquery 如何将CSV解析为BigQuery加载错误

Google bigquery 如何将CSV解析为BigQuery加载错误,google-bigquery,Google Bigquery,将csv文件加载到BQ表时遇到以下错误。加载大小为TBs的文件时没有遇到此问题 '读取数据时出错,错误消息:用于读取CSV的选项集阻止BigQuery将文件拆分为并行读取,并且当无法拆分文件时,至少有一个文件大于允许的最大大小。尺寸为:7561850767。允许的最大大小为:4294967296。的限制为4GB 如果文件未压缩,则应检查文件中是否有双引号字符(“)。不匹配的双引号字符可能导致无法拆分的大字段(大于4GB) 您可以尝试使用以下方法从命令行加载文件: bq --project_id

将csv文件加载到BQ表时遇到以下错误。加载大小为TBs的文件时没有遇到此问题

'读取数据时出错,错误消息:用于读取CSV的选项集阻止BigQuery将文件拆分为并行读取,并且当无法拆分文件时,至少有一个文件大于允许的最大大小。尺寸为:7561850767。允许的最大大小为:4294967296。

的限制为4GB

如果文件未压缩,则应检查文件中是否有双引号字符(“)。不匹配的双引号字符可能导致无法拆分的大字段(大于4GB)

您可以尝试使用以下方法从命令行加载文件:

bq --project_id <project_id> load --source_format=CSV --autodetect  --quote $(echo -en '\000') <dataset.table> <path_to_source>
bq--project\u id load--source\u format=CSV--autodetect--quote$(echo-en'\000')
其想法是禁用默认引号,即双引号(“)

有关确切的命令,请参阅CLI