Google cloud platform 以拼花格式将GCP Cloud SQL PostgreSQL导出到GCS

我有GCP Cloud SQL PostgreSQL中的数据，我想将这些数据以拼花格式导出到GCS中，我发现这是不可能的，只有我可以以SQL和CSV格式导出拼花格式的数据。

我建议您通过BigQuery实现这一点

连接功能

使用CloudSQLPostgres数据在BigQuery中创建新表

使用“带拼花地板”选项（处于预览阶段）

删除BigQuery中的临时表

这样可以保证您只需要一个文件（或少量分片文件）

但是，您可以加快该过程，但此解决方案可以生成更多的文件

使用联邦表功能将BigQuery连接到云SQL postgres实例

仅在一个查询中

---

我建议您通过BigQuery实现这一目标

连接功能

使用CloudSQLPostgres数据在BigQuery中创建新表

使用“带拼花地板”选项（处于预览阶段）

删除BigQuery中的临时表

这样可以保证您只需要一个文件（或少量分片文件）

但是，您可以加快该过程，但此解决方案可以生成更多的文件

使用联邦表功能将BigQuery连接到云SQL postgres实例

仅在一个查询中

CREATE TABLE my_dataset.temp_table AS
SELECT * FROM EXTERNAL_QUERY("project_id.region.connection_name", "SELECT * FROM .....;");

bq --location=region extract \
--destination_format parquet \
project_id:my_dataset.temp_table \
gs://bucket/filename.parquet

EXPORT DATA OPTIONS(
  uri='gs://bucket/filename.parquet*',
  format='PARQUET') AS
SELECT * FROM EXTERNAL_QUERY("project_id.region.connection_name", "SELECT * FROM .....;");