MySQL主数据存储和MongoDB辅助数据存储之间的ETL
我们有一个rails应用程序,它有一个MySQL后端,每个客户端有一个DB,模式是相同的。我们使用一个定制的gem根据请求的URL更改DB(这是一些我们正试图摆脱的遗留代码) 我们需要从那些MySQL数据库(库存变化、一些订单信息等)中捕获一些变化,转换并存储在单个MongoDB数据库(多租户数据存储)中,这些数据最初将用于分析,但我们的想法是将所有数据移到那里 使用AR回调和Rabbit是可以做到这一点的,但老实说,它工作不正常,而且修复它似乎比用新方法重新开始更麻烦 我们做了一些研究,发现了一些用于ETL的工具,但对于我们的需求来说,这些工具是多余的 有没有人有过类似问题的经验MySQL主数据存储和MongoDB辅助数据存储之间的ETL,mysql,ruby-on-rails,mongodb,etl,data-synchronization,Mysql,Ruby On Rails,Mongodb,Etl,Data Synchronization,我们有一个rails应用程序,它有一个MySQL后端,每个客户端有一个DB,模式是相同的。我们使用一个定制的gem根据请求的URL更改DB(这是一些我们正试图摆脱的遗留代码) 我们需要从那些MySQL数据库(库存变化、一些订单信息等)中捕获一些变化,转换并存储在单个MongoDB数据库(多租户数据存储)中,这些数据最初将用于分析,但我们的想法是将所有数据移到那里 使用AR回调和Rabbit是可以做到这一点的,但老实说,它工作不正常,而且修复它似乎比用新方法重新开始更麻烦 我们做了一些研究,发现了
关于如何构建和实现此简单ETL的建议Pentaho提供了可以解决数据同步问题的更改数据捕获选项 如果您所说的过度杀戮是指设置、配置,那么是的,这是ETL工具的常见问题,PENTAHO是其中最简单的 如果你能提供更多的细节,我很乐意提供详细的回答