Google bigquery 导出或传输6gb Google大查询表以用于mysql的最佳方式是什么？

我正在尝试导出一个大的查询结果，表是6gb。谷歌对每个文件有1gb的限制，有没有其他方法可以移动整个文件？我需要把它放到MySql表中。谢谢

您读取的限制仅适用于一个文件，还有其他方法可以导出无限大小的文件

有3种方法可以导出数据：

单个URI（1个文件，限制1GB，很可能您正在使用此文件）

['gs://my bucket/file name.json']

创建：

gs://my bucket/file-name.json

单个通配符URI（每个1GB创建多个文件）

['gs://my bucket/file name-*.json']

创建：

gs://my bucket/file-name-000000000000.json
gs://my bucket/file-name-000000000001.json
gs://my bucket/file-name-000000000002.json

多个通配符URI（这需要Hadoop）

gs://my bucket/file name-{worker number}-*.json

创建：

本例假设BigQuery在每个分区中创建80个分片文件 分割

gs://my bucket/file-name-1-000000000000.json
gs://my bucket/file-name-1-000000000001.json
…
gs://my bucket/file-name-1-0000000000 80.json
gs://my bucket/file-name-2-000000000000.json
gs://my bucket/file-name-2-000000000001.json
…
gs://my bucket/file-name-2-0000000000 80.json
gs://my bucket/file-name-3-000000000000.json
gs://my bucket/file-name-3-000000000001.json
…
gs://my bucket/file-name-3-000000000080.json

更多信息请访问：

---

您的疑问在于是否要检索此数据或将此数据插入MySQL？您应该只检索部分数据，一次一部分。我现在获取了它，添加了*现在我在导出过程中遇到一个错误，访问被拒绝，这是一个bucket权限设置吗？如果是这样，我应该将其设置为什么？