Amazon web services 将增量数据(CDC)从Amazon RDS移动到红移?

Amazon web services 将增量数据(CDC)从Amazon RDS移动到红移?,amazon-web-services,amazon-s3,amazon-redshift,amazon-rds,amazon-aurora,Amazon Web Services,Amazon S3,Amazon Redshift,Amazon Rds,Amazon Aurora,我需要将增量数据从Amazon Aurora Postgres移动到Amazon Redshift。这将是一项日常工作。新数据将被插入到红移中,如果现有数据发生更改,则会对其进行更新。有没有这样做的建议?AWS服务有两种方法 您的第一个选项是查看,使用Postgres dB作为源,红移dB作为目标。执行一次性导入后,可以导入上次运行之间的差异 您的第二个选择是查看如何构建增量管道。感谢Chris的建议!DMS或Datapipeline将是一个直接转储。我可能会在RDS中存在的数据上添加一些转换逻

我需要将增量数据从Amazon Aurora Postgres移动到Amazon Redshift。这将是一项日常工作。新数据将被插入到红移中,如果现有数据发生更改,则会对其进行更新。有没有这样做的建议?

AWS服务有两种方法

您的第一个选项是查看,使用Postgres dB作为源,红移dB作为目标。执行一次性导入后,可以导入上次运行之间的差异


您的第二个选择是查看如何构建增量管道。

感谢Chris的建议!DMS或Datapipeline将是一个直接转储。我可能会在RDS中存在的数据上添加一些转换逻辑,并将其移动到红移。您能告诉我是否有办法吗?DMS确实支持一些转换:。除此之外,您可以将差分导出到kinesis firehouse,然后在其上使用lambda变换,然后再将其导出到红移