Warning: file_get_contents(/data/phpspider/zhask/data//catemap/8/mysql/67.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181

Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/ruby-on-rails/62.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
MySQL主数据存储和MongoDB辅助数据存储之间的ETL_Mysql_Ruby On Rails_Mongodb_Etl_Data Synchronization - Fatal编程技术网

MySQL主数据存储和MongoDB辅助数据存储之间的ETL

MySQL主数据存储和MongoDB辅助数据存储之间的ETL,mysql,ruby-on-rails,mongodb,etl,data-synchronization,Mysql,Ruby On Rails,Mongodb,Etl,Data Synchronization,我们有一个rails应用程序,它有一个MySQL后端,每个客户端有一个DB,模式是相同的。我们使用一个定制的gem根据请求的URL更改DB(这是一些我们正试图摆脱的遗留代码) 我们需要从那些MySQL数据库(库存变化、一些订单信息等)中捕获一些变化,转换并存储在单个MongoDB数据库(多租户数据存储)中,这些数据最初将用于分析,但我们的想法是将所有数据移到那里 使用AR回调和Rabbit是可以做到这一点的,但老实说,它工作不正常,而且修复它似乎比用新方法重新开始更麻烦 我们做了一些研究,发现了

我们有一个rails应用程序,它有一个MySQL后端,每个客户端有一个DB,模式是相同的。我们使用一个定制的gem根据请求的URL更改DB(这是一些我们正试图摆脱的遗留代码)

我们需要从那些MySQL数据库(库存变化、一些订单信息等)中捕获一些变化,转换并存储在单个MongoDB数据库(多租户数据存储)中,这些数据最初将用于分析,但我们的想法是将所有数据移到那里

使用AR回调和Rabbit是可以做到这一点的,但老实说,它工作不正常,而且修复它似乎比用新方法重新开始更麻烦

我们做了一些研究,发现了一些用于ETL的工具,但对于我们的需求来说,这些工具是多余的

有没有人有过类似问题的经验


关于如何构建和实现此简单ETL的建议Pentaho提供了可以解决数据同步问题的更改数据捕获选项

如果您所说的过度杀戮是指设置、配置,那么是的,这是ETL工具的常见问题,PENTAHO是其中最简单的

如果你能提供更多的细节,我很乐意提供详细的回答