Warning: file_get_contents(/data/phpspider/zhask/data//catemap/1/database/9.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181

Warning: file_get_contents(/data/phpspider/zhask/data//catemap/4/jquery-ui/2.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
自动将RDS(MySQL)模式复制到AWS红移的最佳方法是什么?_Mysql_Database_Amazon Redshift_Data Migration_Data Pipeline - Fatal编程技术网

自动将RDS(MySQL)模式复制到AWS红移的最佳方法是什么?

自动将RDS(MySQL)模式复制到AWS红移的最佳方法是什么?,mysql,database,amazon-redshift,data-migration,data-pipeline,Mysql,Database,Amazon Redshift,Data Migration,Data Pipeline,我们使用ruby脚本将数据从MySQL迁移到Redshift(PostgreSQL)。目前我们使用YAML配置文件来维护模式信息(列名和类型)。因此,每当更改MySQL表时,我们都需要手动更改YAML文件。现在,我们正在考虑将YAML配置作为JSON对象移动到数据库(PSQL)。但我们仍然需要手动更改模式配置。我们希望自动化这个过程(最好使用Ruby) PS:我们使用bin日志在AWS红移中增量更新数据。有几种可能的解决方案供您选择 第一个是使用AWS数据管道。它是一种在不同的AWS计算和存储服

我们使用ruby脚本将数据从MySQL迁移到Redshift(PostgreSQL)。目前我们使用YAML配置文件来维护模式信息(列名和类型)。因此,每当更改MySQL表时,我们都需要手动更改YAML文件。现在,我们正在考虑将YAML配置作为JSON对象移动到数据库(PSQL)。但我们仍然需要手动更改模式配置。我们希望自动化这个过程(最好使用Ruby)


PS:我们使用bin日志在AWS红移中增量更新数据。

有几种可能的解决方案供您选择

第一个是使用AWS数据管道。它是一种在不同的AWS计算和存储服务之间移动数据的服务。()

另一种选择是使用数据集成工具,如Alooma。它可以近乎实时地从托管在上的MySQL数据库复制表

它支持您正在使用的bin日志复制方法

按照以下步骤复制数据:

为托管MySQL设置bin日志:

要复制MySQL表,Aloma需要设置基于行的复制,以便能够读取MySQL事件

  • 通过运行下面的语句验证binlog是否已配置-返回的值应为行:

    mysql>显示全局变量,如“binlog_格式”

  • 验证binlog行格式是否设置为FULL:

    mysql>显示全局变量,如“binlog\u row\u image”

  • 验证日志从机更新选项是否设置为打开:

    mysql>显示全局变量,如“log_slave_updates”

  • 如果您的MySQL当前未设置为基于行的复制,则需要进行设置

  • 在my.cnf文件中包括以下行(在/etc/mysql/下)。以下示例适用于“香草”MySQL 5.6安装:

    [mysqld] log-bin=mysql-bin 服务器id=1 binlog_格式=行 日志从属更新=true

  • 确保重新启动MySQL服务器以获取更改

  • 创建一个ALOMA用户,类似于MySQL从属用户:

    mysql>创建由“您的_密码”标识的用户“alooma”@“%”

    mysql>授予复制从机、选择、重新加载、复制客户端、, 锁定表,在上执行。 到“alooma”@“%”

    mysql>刷新权限


  • 您是否考虑过AWS数据库迁移服务?