Google cloud platform 云SQL到BigQuery传输的成本

我有一个云SQL数据库（作为PostreSQL），我想将一个副本传输到BigQuery。这表示1 Tb的数据（使用云SQL存储），超过100个表

我想估算一下这种一次性的大型数据传输的成本。当我阅读关于BigQuery和云SQL定价的GCP文档时，我得到的印象是这是免费的：BigQuery导入是免费的，云SQL网络出口到大陆内部的“其他谷歌产品”是免费的。我说得对吗

---

此外，我还想通过BigQuery的“联邦查询”确认这是否可行（数据大小不要太大），例如，通过循环表来选择all并将每个表插入BigQuery。或者任何其他更有效的解决方案。

通常，如果BigQuery和Cloud SQL都位于同一区域，则此传输操作应该是免费的。如果我是你，我会使用与云SQL位于同一区域的存储桶作为存储数据的中间位置。导出云SQL实例是免费的，只要数据不离开GCP网络并存储在同一区域

请注意，如果您正在从云SQL实例进行无服务器导出，Google将在将来向您收取一些费用。我从出口/卸载定价中获得了所有这些信息

无服务器出口-2021年2月1日前不收费，此后 $0.01/GB的实例存储容量

---

最简单/最有效的解决方案是创建CSV导出到存储桶（）。然后将该CSV导入BigQuery（）。我特别认为导出可能需要一段时间，因为它是1TB，但除此之外，大小应该不是问题。

通常，如果BigQuery和Cloud SQL都位于同一区域，则此传输操作应该是免费的。如果我是你，我会使用与云SQL位于同一区域的存储桶作为存储数据的中间位置。导出云SQL实例是免费的，只要数据不离开GCP网络并存储在同一区域

请注意，如果您正在从云SQL实例进行无服务器导出，Google将在将来向您收取一些费用。我从出口/卸载定价中获得了所有这些信息

无服务器出口-2021年2月1日前不收费，此后 $0.01/GB的实例存储容量

---

最简单/最有效的解决方案是创建CSV导出到存储桶（）。然后将该CSV导入BigQuery（）。我认为导出可能需要一段时间，因为它是1TB，但除此之外，大小应该不是问题。

联邦查询：

从BigQuery查询外部数据源时，将按查询读取的字节数收费

SELECT *
FROM
  EXTERNAL_QUERY(
    'connection_id',
    '''SELECT * FROM customers AS c ORDER BY c.customer_id'''
  );

此查询消耗云SQL中所有大小的customers表。小桌子买得起。对于1 TB，它将花费5美元

从云存储加载到BigQuery

加载数据是免费的。但这意味着您需要设计一个解决方案，从云SQL导出数据，将CSV、JSON文件放在云存储上，然后导入到BigQuery中

结论：

---

您要么支付每TB 5美元的传输费用，要么权衡工作时间并计算编写导出/导入脚本所需的时间。如果写入脚本的成本高于每小时费率，则选择联邦查询读写到临时表。

联邦查询：

从BigQuery查询外部数据源时，将按查询读取的字节数收费

SELECT *
FROM
  EXTERNAL_QUERY(
    'connection_id',
    '''SELECT * FROM customers AS c ORDER BY c.customer_id'''
  );

此查询消耗云SQL中所有大小的customers表。小桌子买得起。对于1 TB，它将花费5美元

从云存储加载到BigQuery

加载数据是免费的。但这意味着您需要设计一个解决方案，从云SQL导出数据，将CSV、JSON文件放在云存储上，然后导入到BigQuery中

结论：

---

您要么支付每TB 5美元的传输费用，要么权衡工作时间并计算编写导出/导入脚本所需的时间。如果写入脚本的成本高于每小时的费用，则选择联邦查询读写到临时表。

$5在BigQuery最便宜的位置。它的时间更长，但价格更实惠！为了完整性，GCS也会产生存储成本，但如果我们在BigQuery导入后将其作为清理删除，我们可以将其四舍五入为零。在BigQuery最便宜的位置为5美元。它的时间更长，但价格更实惠！为了完整性，GCS也会产生存储成本，但如果我们在BigQuery导入后将其作为清理删除，则可以将其舍入为零。