Google bigquery 将Amazon RDS与Google BigQuery同步

大家好，我工作的公司在AWS（亚马逊RDS）上有一些MySQL数据库。我们正在用BigQuery制作一个POC，我现在研究的是如何将基复制到BigQuery（现有寄存器和将来的新寄存器）。我的疑问是：

• 如何将MySQL表和行复制到BigQuery。有什么工具可以做到这一点（我正在阅读有关Amazon数据库迁移服务的文章）？我应该复制到Google云SQL，然后导出到BigQuery吗
• 如何复制未来的寄存器？是否可以在MySQL中创建一个作业，在预定义的数字之后发送新的寄存器？例如，插入1000个新行（或经过一段时间）后，会“触发”一些事件，并将新寄存器复制到Cloud SQL/BigQuery

我最初的想法是转储原始基址，将其加载到另一个基址，然后使用脚本侦听新寄存器并将它们发送到新基址

---

我解释得对吗？可以理解吗？

您需要使用一个与mySQL和BigQuery集成的ETL工具来执行数据的初始传输，并将后续更改复制到BigQuery。查看可用工具列表[1]

您还可以通过开发一个进程来实现自己的工具，该进程将数据从mySQL提取到CSV文件，然后使用数据导入将该文件加载到BigQuery中[2]

[1]

---

[2]

除了瓦迪姆所说的，你还可以尝试：

• mysqldump将CSV文件转储到s3（我相信RDS允许这样做）
• 运行“gsutil”Google云存储实用程序将数据从s3复制到GCS
• 运行“bq load file.csv”将文件加载到BigQuery

---

我很想听听你的经历，所以请私下告诉我

我使用xplenty基本上将表从mysql AWS RDS镜像到BQ。Xplenty可以删除并重新创建表。你必须为它付费，但这是非常快速和容易的。注册trail甚至将其用于poc可能会很有用。这就是我所做的，我仍然在使用它，因为让我更加关注更有用的僵硬，比如我如何使用BQ中的数据。可能是一个快速的解决方案，如果只是你这么做，需要快速。