Google cloud platform bq extract-提取操作中出现BigQuery错误:发生内部错误,请求无法完成

Google cloud platform bq extract-提取操作中出现BigQuery错误:发生内部错误,请求无法完成,google-cloud-platform,google-bigquery,google-cloud-storage,bq,Google Cloud Platform,Google Bigquery,Google Cloud Storage,Bq,我试图在控制台中使用以下命令将表从BigQuery导出到google存储: bq --location=<hidden> extract --destination_format CSV --compression GZIP --field_delimiter "|" --print_header=true <project>:<dataset>.<table> gs://<airflow_bucket>/data/

我试图在控制台中使用以下命令将表从BigQuery导出到google存储:

bq --location=<hidden> extract --destination_format CSV --compression GZIP --field_delimiter "|" --print_header=true <project>:<dataset>.<table> gs://<airflow_bucket>/data/zip/20200706_<hidden_name>.gzip
bq--location=extract--destination_格式CSV--compression GZIP--field_分隔符“|”--print_header=true:。gs:///data/zip/20200706_u706.gzip
我得到以下错误:

提取操作中出现BigQuery错误:发生内部错误,请求无法完成

以下是关于上述表格的一些信息

Table ID    <HIDDEN> 
Table size 6,18 GB
Number of rows   25 854 282 
Created 18.06.2020, 15:26:10 
Table expiration     Never 
Last modified 14.07.2020, 17:35:25 
Data location    EU
表ID
表大小6,18 GB
行数25 854 282
创建于2020年6月18日,15:26:10
表永不过期
最后修改14.07.2020,17:35:25
数据位置EU
我在这里要做的是,将这个表提取到google存储中。由于该表大于1 Gb,因此它会变得支离破碎。。。我想将所有这些片段整合到一个归档文件中,放到一个谷歌云存储桶中

这里发生了什么?我该如何解决这个问题

注意:我已经隐藏了表的实际名称和位置以及其他信息,其中提到了
或`:



`

我找到了这背后的原因,文档给出了
bq摘录的以下语法

> bq --location=location extract \
> --destination_format format \
> --compression compression_type \
> --field_delimiter delimiter \
> --print_header=boolean \ project_id:dataset.table \ gs://bucket/filename.ext

我删除了
location=
,它按原则工作。除了我不得不添加一个通配符,我最终得到了多个压缩文件。

我找到了这背后的原因,文档为
bq extract提供了以下语法

> bq --location=location extract \
> --destination_format format \
> --compression compression_type \
> --field_delimiter delimiter \
> --print_header=boolean \ project_id:dataset.table \ gs://bucket/filename.ext
我删除了
location=
,它按原则工作。除了我不得不添加一个通配符,我最终得到了多个压缩文件。

根据,由于1 Gb的文件大小限制,您将收到错误

目前,如果不添加额外的步骤(例如,使用或使用批处理作业),就无法完成所需的任务

有一些将数据从BigQuery导出到GCS,但没有一个是CSV格式的,因此您需要触摸一些代码才能在数据流上执行此操作。

根据,由于1 Gb的文件大小限制,您会遇到错误

目前,如果不添加额外的步骤(例如,使用或使用批处理作业),就无法完成所需的任务

有一些将数据从BigQuery导出到GCS,但没有一个是CSV格式的,所以您需要触摸一些代码才能在数据流上完成