Google bigquery 无法从Google Big Query中提取单个.csv文件中的数据(尽管数据小于1GB)

Google bigquery 无法从Google Big Query中提取单个.csv文件中的数据(尽管数据小于1GB),google-bigquery,export-to-csv,Google Bigquery,Export To Csv,我能够将数据导出到4个不同的文件中,每个文件大约90 MB。这没有道理 我读过Google Big Query的局限性,它说大小超过1GB的数据不能在单个CSV文件中下载 我的数据大小约为250-300 MB 这是我通常从GBQ导出数据的操作: 我在Google Big Query中保存了这个表,因为它有16000多行 然后使用以下方法将其导出到桶中: gs://[your_bucket]/file-name-*.csv 我认为200万行数据小于1GB。如果我错了,请告诉我 我可以在单个cs

我能够将数据导出到4个不同的文件中,每个文件大约90 MB。这没有道理

我读过Google Big Query的局限性,它说大小超过1GB的数据不能在单个CSV文件中下载

我的数据大小约为250-300 MB

这是我通常从GBQ导出数据的操作:

我在Google Big Query中保存了这个表,因为它有16000多行

然后使用以下方法将其导出到桶中:

 gs://[your_bucket]/file-name-*.csv
我认为200万行数据小于1GB。如果我错了,请告诉我

我可以在单个csv文件中获取此数据吗


谢谢。

您应该从要写入的blob的名称中去掉通配符

因此,您更应该导出到gs://[your_bucket]/file-name.csv


正如您所指出的,如果您的数据大于1GB,这将不起作用,但如果总容量约为300MB,则应该没有问题。

您可以获得包含查询结果的node.js可读流。 数据块是结果集的一行。
然后将数据逐行写入本地csv或云存储。

2M行可能大于1GB,具体取决于行数、列数、数据类型数据约为350MB。