Google bigquery 将文本文件（.txt）加载到bigquery表的最佳方法

关于将文本文件上传到bigquery表的最佳方法，有人有什么实际想法吗？我有一些压缩文本文件需要从远程SFTP服务器下载并加载到bigquery表中。我应该把它下载到谷歌云存储中，然后从那里上传到bigquery以获得更快的速度吗？每个文本文件大约5GB，并将进一步增长。

---

谢谢。

首先要考虑的是，如果从本地数据源加载文件，根据.

有限制。 从本地数据源加载数据受到以下限制：

加载时不支持通配符和逗号分隔的列表 来自本地数据源的文件。文件必须单独加载。 使用经典的BigQuery web UI时，从本地数据源加载的文件 源必须小于等于10 MB，并且包含的行数必须少于16000行

除此之外，通过上面提供的链接，还提供了如何使用Console或CLI上载数据的说明

然而，使用云存储，您可以利用长期存储，这意味着您不需要将数据加载到bigquery中，而需要将数据存储在云存储中。你可以阅读更多关于它的内容

最后，我想请你考虑两点。 本机表：本机BigQuery存储支持的表

外部表：由BigQuery外部存储支持的表。更多 有关详细信息，请参见查询外部数据源

换句话说，使用本机表可以在BigQuery中导入完整数据。因此，在执行数据分析时，它对我来说往往更快。同时，外部表不在BigQuery中存储数据，而是引用来自外部源的数据

---

这个数字比年高。尽管如此，查询外部表要比查询本机表慢，主要是在文件非常大的情况下。最后，由于外部表是指向文件的指针，因此您不必等待数据加载。

这是一项重复性任务，还是一次性任务？本地数据源中的数据大小是多少？对不起，应该是指text file.txt。是的，它将在每个月末重复加载。