Google cloud platform 将数据从BQ移动到on prem SQL Server relationalDB

有谁能帮助我了解如何将数据从BQ（OLAP）移动到on-prem SQL Server relationalDB（OLTP）？这将是一个一次性的回填过程，然后是一个每月重复的过程。在讨论细节之前，我想指出，我们还没有准备好为CloudSQL或BigData掏钱，因此我们决定将BQ中存在的分析数据移动到relationalDB，因为公共站点将从relationalDB读取处理后的数据

我有两个想法：

Microservice可以有一个quartz作业，从BQ读取数据以添加到relationalDB，但是，这有多高效

从BQ读取数据并将其保存到relationalDB的ETL过程

将数据作为json文件从BQ保存到云存储中，然后读取该文件，然后处理并保存到relationalDB中（这可以通过服务或ETL过程完成）

---

是否有人可以建议其他方法？

为了提高效率，我可以建议使用此过程

• 并将其保存为CSV
  • 如果数据太大。使用要导出的数据在BigQuery中创建一个临时表，并使用以CSV格式将完整表内容导出到存储器中
• 在SQL Server上，在临时表中导入CSV（快速高效）
• 使用SQL查询在临时表和实际表之间执行ETL和合并插入
• 删除临时表

---

执行的是一次性迁移还是重复同步？你能提供目标数据库引擎吗？好问题。这将是一次回填（大约500-600 GB），然后每月重复执行同步（我预计大约500 MB-1GB的数据）。将数据从BQ移动到prem SQL SERVER上。我将在上面提到这一点。