Google bigquery 如何在Google BigQuery中加载大型文本文件

Google bigquery 如何在Google BigQuery中加载大型文本文件,google-bigquery,Google Bigquery,我在浏览Google BigQuery文档时发现,在BigQuery中,未加密文件加载的文件容量限制为5TB,加密文件加载的文件容量限制为4TB,每个加载作业的容量为15TB 我有一个假设性的问题-如何加载大于16TB的文本文件(假设加密将使其处于4TB的范围)?我还看到GCS云存储限制为每个文件5TB 我从来没有这样做过,但这里是我如何认为可能的方法,但不确定,并寻求确认。首先,我们必须拆分文件。接下来,我们必须对它们进行加密并将其传输到地面军事系统。接下来,将它们加载到GoogleBigQu

我在浏览Google BigQuery文档时发现,在BigQuery中,未加密文件加载的文件容量限制为5TB,加密文件加载的文件容量限制为4TB,每个加载作业的容量为15TB

我有一个假设性的问题-如何加载大于16TB的文本文件(假设加密将使其处于4TB的范围)?我还看到GCS云存储限制为每个文件5TB


我从来没有这样做过,但这里是我如何认为可能的方法,但不确定,并寻求确认。首先,我们必须拆分文件。接下来,我们必须对它们进行加密并将其传输到地面军事系统。接下来,将它们加载到GoogleBigQuery表中

我想你走对了。将文件分割成更小的块,然后继续将其分发到2或3个不同的GCS存储桶中

一旦区块在桶中,您就可以继续将其加载到BQ中

希望有帮助。

当你说“加密”时,是指压缩吗?