Google bigquery Bigquery导出文件大小为8GB的GCS中的表,即使使用单个通配符URI导出文件中小于1GB的块中的表

Google bigquery Bigquery导出文件大小为8GB的GCS中的表,即使使用单个通配符URI导出文件中小于1GB的块中的表,google-bigquery,export,google-cloud-storage,gsutil,Google Bigquery,Export,Google Cloud Storage,Gsutil,我尝试手动并使用命令行将具有140GB数据的大型查询表导出到GCS bucket中大小小于1GB的文件中。导出后总共创建了168个文件。在使用命令行或大查询界面导出时,从1到167的所有文件都小于1GB,但最后一个文件在这两种情况下都约为8GB 这是GCS bucket的屏幕截图 接下来,我使用单个通配符uri将表导出到多个文件中,以将导出的表拆分为块 我希望所有导出的文件仅为1 GB左右。有人能帮我吗?谢谢。您看错了文档 BigQuery中没有1GB的每个文件导出配置 1GB是指您试图导出的数

我尝试手动并使用命令行将具有140GB数据的大型查询表导出到GCS bucket中大小小于1GB的文件中。导出后总共创建了168个文件。在使用命令行或大查询界面导出时,从1到167的所有文件都小于1GB,但最后一个文件在这两种情况下都约为8GB

这是GCS bucket的屏幕截图

接下来,我使用单个通配符uri将表导出到多个文件中,以将导出的表拆分为块


我希望所有导出的文件仅为1 GB左右。有人能帮我吗?谢谢。

您看错了文档

BigQuery中没有1GB的每个文件导出配置

1GB是指您试图导出的数据大小

如果导出的数据超过1 GB,则必须导出数据 复制到多个文件。将数据导出到多个文件时 文件的大小将有所不同


因此,这说明如果表大于1GB,则必须导出到多个文件。但它并没有告诉您文件将小于1GB,而是告诉您文件大小会有所不同

然而,我同意@ascii_walker的观点,这种行为很奇怪。我建议您打开一个支持案例,以确保这是预期的行为。@guillaumeblaquiere我几年前就已经这样做了,他们更正了文档页面。它现在清楚地说明了“文件大小变量”。这是他们能做的最多的了。