Postgresql 如何有效地将BigQuery表迁移到On-Prem Postgres？

我需要将表从BigQuery迁移到on-prem-Postgres数据库

我如何才能有效地做到这一点

一些即将到来的想法

我将使用GoogleAPI从表中导出数据

本地存储

最后，导入到Postgres

---

但我不确定是否可以在TBs中对大量数据执行此操作。另外，我如何使这个过程自动化？我可以使用Jenkins吗？

从BigQuery导出数据，存储数据并将其导入PostgreSQL是一种很好的方法。以下是您可以考虑的其他两个备选方案：

1） 有一个允许直接从BigQuery查询的。根据您的案例场景，这可能是传输数据的最简单方法；不过，对于TBs来说，这可能不是最好的方法。这项建议是由@David在本文中提出的

2） 使用。您可以使用ApacheBeam创建一个ETL进程来进行传输。请看一下此操作指南。您需要将其适应于本地PostgreSQL，但这种想法仍然存在

下面是另一个关于这种方法的例子