Mysql 定期将数据从SQL镜像到NoSQL的最佳方法?

Mysql 定期将数据从SQL镜像到NoSQL的最佳方法?,mysql,sql,mongodb,postgresql,nosql,Mysql,Sql,Mongodb,Postgresql,Nosql,每次指定的表发生更改时,我都希望将更新的数据从MySQL/postgreSQL导出到mongodb,如果不可能,则每隔X秒/分钟将整个表转储到NoSQL。我能做些什么来实现这一点?我在谷歌上搜索了一下,发现只有付费的企业级解决方案,而这些解决方案对于我的业余项目来说是遥不可及的。要在线复制到目标数据库中,您可以使用: 同时在两个数据库中获取数据流 读取事务日志并将数据推送到下一个数据库的企业解决方案 定期检查更改日期>X 定期导出表 使用触发器将更改的记录写入某个表,并轮询此表以选择更改 将d

每次指定的表发生更改时,我都希望将更新的数据从MySQL/postgreSQL导出到mongodb,如果不可能,则每隔X秒/分钟将整个表转储到NoSQL。我能做些什么来实现这一点?我在谷歌上搜索了一下,发现只有付费的企业级解决方案,而这些解决方案对于我的业余项目来说是遥不可及的。

要在线复制到目标数据库中,您可以使用:

  • 同时在两个数据库中获取数据流
  • 读取事务日志并将数据推送到下一个数据库的企业解决方案
  • 定期检查更改日期>X
  • 定期导出表
  • 使用触发器将更改的记录写入某个表,并轮询此表以选择更改
  • 将datastreamservice中带有触发器的更改数据推送到下一个数据库中
  • 许多其他方法
根据您想要使用的时间量和数据可能存在的延迟,它取决于哪个解决方案适合您的需求


如果数据量越来越大,或者数量或事务量增加,一些适合业余项目的解决方案就不再适合了

要在线复制到目标数据库中,可以使用:

  • 同时在两个数据库中获取数据流
  • 读取事务日志并将数据推送到下一个数据库的企业解决方案
  • 定期检查更改日期>X
  • 定期导出表
  • 使用触发器将更改的记录写入某个表,并轮询此表以选择更改
  • 将datastreamservice中带有触发器的更改数据推送到下一个数据库中
  • 许多其他方法
根据您想要使用的时间量和数据可能存在的延迟,它取决于哪个解决方案适合您的需求

如果数据量越来越大,或者数量或事务量增加,一些适合业余项目的解决方案就不再适合了

提供开源数据库复制选项,支持将RDMS数据库(MySQL、Postgres)复制到MongoDB中

以下是在SymmetricDS中设置Mongo目标节点的特定文档

还有一个关于更详细地设置Mongo的博客

提供了开源数据库复制选项,该选项支持将RDMS数据库(MySQL、Postgres)复制到MongoDB中

以下是在SymmetricDS中设置Mongo目标节点的特定文档

还有一个关于更详细地设置Mongo的博客


您可以使用数据库触发器(在插入、更新和删除时)用更改填充第二个(审核)表。您可以扫描此表,在mongodb中执行相应的更新并将其标记为完成,或者从第二个审核表中删除它们。您可以使用数据库触发器(插入、更新和删除时)用更改填充第二个(审核)表。您可以扫描此表,在mongodb中执行相应的更新并将其标记为完成,或者从第二个审计表中删除它们。