Python 将多个RDS postgres实例中的表复制到一个postgres RDS

我有8个rds postgres实例，每个实例都支持8个解决方案的数据库

我想把8个rds postgres实例中的所有数据都放到一个rds postgres实例中

这是分析所需要的

以下是我迄今为止在这方面的工作：

尝试将每个表下载到csv中，并将其上载到目标rds实例。对于大小为50GB的表，copy命令失败。我无法一次性迁移所有数据，然后设置增量加载。对于大型表，它在满表加载时失败。（这里也使用python）

考虑使用DMS，但建议对于rds postgres到rds postgres的迁移，他们建议使用pgdump和pgrestore代替DMS。但是对于pgdump和pgrestore，我需要存储密码，我的组织不允许我这样做

使用debezium，但这是一个很长的过程，老实说，我需要它很快恢复工作

理想的情况是将8个rds实例中的所有8个数据库复制到一个rds postgres实例中。这应该是持续的复制。我暂时可以批量处理（数据可能会过时一天）。但是如果流媒体（例如debezium）是唯一的方法，那么我也可以

---

您对此有什么想法吗？

上传CSV是一个不错的选择。找到并修复错误。好的。在本例中，对于50 GB的表，我使用copy命令将数据提取到csv，过了一段时间，它会错误地显示以下消息“由于与恢复详细信息冲突而取消语句：用户查询可能需要查看必须删除的行版本”。这是一个完全不同的问题：您遇到了复制冲突。在待机状态下设置

max\u standby\u streaming\u delay=-1

。好的。。那么，使用copy下载一个大小为50GB且不断增长的表可以吗？当然，这是实现此目的的首选工具

pg_dump

使用

COPY

执行此操作。