Google bigquery 如何在Google BigQuery中加载大型文本文件
我在浏览Google BigQuery文档时发现,在BigQuery中,未加密文件加载的文件容量限制为5TB,加密文件加载的文件容量限制为4TB,每个加载作业的容量为15TB 我有一个假设性的问题-如何加载大于16TB的文本文件(假设加密将使其处于4TB的范围)?我还看到GCS云存储限制为每个文件5TBGoogle bigquery 如何在Google BigQuery中加载大型文本文件,google-bigquery,Google Bigquery,我在浏览Google BigQuery文档时发现,在BigQuery中,未加密文件加载的文件容量限制为5TB,加密文件加载的文件容量限制为4TB,每个加载作业的容量为15TB 我有一个假设性的问题-如何加载大于16TB的文本文件(假设加密将使其处于4TB的范围)?我还看到GCS云存储限制为每个文件5TB 我从来没有这样做过,但这里是我如何认为可能的方法,但不确定,并寻求确认。首先,我们必须拆分文件。接下来,我们必须对它们进行加密并将其传输到地面军事系统。接下来,将它们加载到GoogleBigQu
我从来没有这样做过,但这里是我如何认为可能的方法,但不确定,并寻求确认。首先,我们必须拆分文件。接下来,我们必须对它们进行加密并将其传输到地面军事系统。接下来,将它们加载到GoogleBigQuery表中 我想你走对了。将文件分割成更小的块,然后继续将其分发到2或3个不同的GCS存储桶中 一旦区块在桶中,您就可以继续将其加载到BQ中 希望有帮助。当你说“加密”时,是指压缩吗?