Google cloud platform 是否可以将certian表从on-premi SQL迁移/复制到BigQuery或Cloud SQL?

Google cloud platform 是否可以将certian表从on-premi SQL迁移/复制到BigQuery或Cloud SQL?,google-cloud-platform,google-bigquery,google-cloud-sql,Google Cloud Platform,Google Bigquery,Google Cloud Sql,我需要您对以下场景的建议: 用例 我有一个本地MySQL数据库(20个表),我需要将某些表(6个表)从该数据库传输/同步到BigQuery以进行报告 解决方案: 1-使用将整个数据库传输到云SQL,然后将云SQL实例与BigQuery连接,查询需要报表的表 2-与发布/订阅一起使用数据流管道: 有没有建议如何在不迁移整个数据库的情况下将一些表同步到BigQuery 非常感谢 您是否需要将on-prem MySQL数据库(如每日)同步到BigQuery,还是只想从on-prem MySQL迁移一次

我需要您对以下场景的建议:

用例

我有一个本地MySQL数据库(20个表),我需要将某些表(6个表)从该数据库传输/同步到BigQuery以进行报告

解决方案:

1-使用将整个数据库传输到云SQL,然后将云SQL实例与BigQuery连接,查询需要报表的表

2-与发布/订阅一起使用数据流管道:

有没有建议如何在不迁移整个数据库的情况下将一些表同步到BigQuery


非常感谢

您是否需要将on-prem MySQL数据库(如每日)同步到BigQuery,还是只想从on-prem MySQL迁移一次到BQ?我想先迁移一次表,然后设置每日同步作业。对于第一次初始化,您是否考虑过将MySQL表导出到CSV文件,并将其上载到Google云存储,最后用
BQ load
将它们导入到BQ?对我来说,这是最简单的解决办法。对于同步作业,您可能需要设置一个cronjob,每天自动执行相同的操作。这有帮助吗?“将MySQL表导出到CSV文件”我现在正在进行此过程,但由于每个表的数据大小>>1 GB,这有点让人不知所措。我认为有一种自动化的方法,我可以在GCP中连接我的on-prem MySQL,然后将它们上传到GCS,然后再上传到BQ。对于同步,我希望远离Cronjob,我正在寻找基于更改的同步作业或CDC。谢谢你的建议,@norbjd。可以同步所有表吗?