Google cloud platform 联邦BigQuery成本和性能优化

Google cloud platform 联邦BigQuery成本和性能优化,google-cloud-platform,google-bigquery,google-cloud-sql,Google Cloud Platform,Google Bigquery,Google Cloud Sql,我正在编写一个定时联邦查询,以便每天加载我的BiqQuery表。BigQuery表加载策略为覆盖。我的源代码是一个云SQL数据库(mysql实例) 我想知道从性能和成本优化的角度来看,从长远来看,加载BigQuery表的正确方法是什么?我应该每天用源数据覆盖我的BigQuery表,还是应该在我的联邦查询本身中使用连接构建一个逻辑来检测源中的新添加,然后在每天的计划运行期间将它们添加到我的BigQuery表中?你的第二个想法就是 我在联邦查询本身中构建了一个逻辑,使用连接来检测源代码中的新添加,然

我正在编写一个定时联邦查询,以便每天加载我的BiqQuery表。BigQuery表加载策略为覆盖。我的源代码是一个云SQL数据库(mysql实例)


我想知道从性能和成本优化的角度来看,从长远来看,加载BigQuery表的正确方法是什么?我应该每天用源数据覆盖我的BigQuery表,还是应该在我的联邦查询本身中使用连接构建一个逻辑来检测源中的新添加,然后在每天的计划运行期间将它们添加到我的BigQuery表中?

你的第二个想法就是

我在联邦查询本身中构建了一个逻辑,使用连接来检测源代码中的新添加,然后将它们添加到我的BigQuery表中

BigQuery需要读/写的数据量越少,它的成本就越低

这是一种通常称为增量的方法