Google app engine 如何将.gz文件上传到Google Big Query？

我有一个90 GB

.csv

文件的想法，我想在本地计算机上制作这个文件，然后上传到Google BigQuery进行分析。我创建这个文件的方法是将数千个较小的

.csv

文件组合成10个中等大小的文件，然后将这些中等大小的文件组合成90 GB的文件，然后将其移动到GBQ。我正在努力完成这个项目，因为我的电脑一直因为内存问题而崩溃。从视频中我了解到，我应该首先将中等大小的

.csv

文件（每个大约9GB）转换为

.gz

文件（每个大约500MB），然后将这些

.gz

文件上传到谷歌云存储中。接下来，我将创建一个空表（在GoogleBigQuery/数据集中），然后将所有这些文件附加到创建的表中。我遇到的问题是找到一些关于如何做这件事的教程，以及如何做这件事的文档。我是谷歌平台的新手，所以也许这是一项非常简单的工作，只需点击一次就可以完成，但我能找到的只是我上面链接的视频。我在哪里可以找到一些关于人们如何做到这一点的帮助、文档、教程或视频？我对工作流程有正确的想法吗？是否有更好的方法（如使用可下载的GUI上载内容）？

请参阅此处的说明：

正如Abdou在评论中提到的，你不需要提前将它们组合起来。只需gzip所有小CSV文件，将它们上载到GCS bucket，然后使用“bq.py load”命令创建一个新表。请注意，可以使用通配符语法来避免列出要加载的所有单个文件名

---

--autodetect标志可能允许您避免手动指定架构，尽管这依赖于从输入中采样，并且如果在某些情况下无法检测，可能需要进行更正。

您不需要将文件合并到一个大文件中。只需创建数据集和表，并使用python、java、ruby或go来处理每个文件（或一组文件）并将它们加载到bigquery。最近我用python做了类似的事情。如果你需要一本初级读物，请告诉我。@Abdou我认为你正在讨论的内容的概要对这个问题会有帮助。从给出的答案来看，不清楚如何将gz文件从google存储加载到bigquerywhere页面中，它具体指的是gz文件吗？虽然允许使用未压缩或压缩的数据，但没有具体提及。这是一个折衷方案——压缩数据显然占用更少的存储空间（和传输带宽），但单个文件的某些部分无法并行读取。此页面（链接自上面的页面）包含更多信息：