Google bigquery 提取BigQuery分区表

Google bigquery 提取BigQuery分区表,google-bigquery,Google Bigquery,是否有一种方法可以用一个命令提取完整的BigQuery分区表,从而将每个分区的数据提取到格式为part\u col=date\u yyy-mm-dd的单独文件夹中 由于Bigquery分区表可以从配置单元类型的分区目录中读取文件,因此是否有类似的方法提取数据。我可以分别提取每个分区,但是当我提取很多分区时,这是非常麻烦的您可以通过编程来完成。例如,您可以选择表$20190801。然后在bq extract命令上,您可以对GCS对象使用(查看workers模式的示例) 由于所有对象都在同一个buc

是否有一种方法可以用一个命令提取完整的BigQuery分区表,从而将每个分区的数据提取到格式为part\u col=date\u yyy-mm-dd的单独文件夹中


由于Bigquery分区表可以从配置单元类型的分区目录中读取文件,因此是否有类似的方法提取数据。我可以分别提取每个分区,但是当我提取很多分区时,这是非常麻烦的

您可以通过编程来完成。例如,您可以选择表$20190801。然后在bq extract命令上,您可以对GCS对象使用(查看workers模式的示例)

由于所有对象都在同一个bucket中,所以文件夹只是一个bucket,因此您也可以在文件夹上指定URI模式,但不能在bucket上指定

因此,您可以编写一个脚本,在其中循环日期值,如下所示:

bq extract 
--destination_format [CSV, NEWLINE_DELIMITED_JSON, AVRO] 
--compression [GZIP, AVRO supports DEFLATE and SNAPPY] 
--field_delimiter [DELIMITER] 
--print_header [true, false] 
[PROJECT_ID]:[DATASET].[TABLE]$[DATE]
gs://[BUCKET]/part_col=[DATE]/[FILENAME]-*.[csv, json, avro]

你不能只用一个bq命令就自动完成。为此,最好按照菲利佩的建议

看起来像是对问题追踪者Hanks Neri的一个功能请求,我已经通过编程实现了这个功能,但我只是好奇我们是否可以用一个命令来实现它。如您和Felipe确认该功能不存在,将提出功能请求