Postgresql 将一个表从RDS/postgres加载到红移
我们有一个红移集群,需要从我们的一个RDS/postgres数据库中获取一个表。我不太确定导出数据并将其导入的最佳方法,确切步骤应该是什么Postgresql 将一个表从RDS/postgres加载到红移,postgresql,amazon-web-services,amazon-redshift,amazon-rds,Postgresql,Amazon Web Services,Amazon Redshift,Amazon Rds,我们有一个红移集群,需要从我们的一个RDS/postgres数据库中获取一个表。我不太确定导出数据并将其导入的最佳方法,确切步骤应该是什么 在拼凑各种博客和文章的过程中,大家的共识似乎是使用pg_dump将表格复制到csv文件中,然后将其复制到S3存储桶中,然后使用Redshiftcopy命令将其带到新表格中——这是我的高级理解,但是我不确定命令行开关应该是什么,或者实际的细节。目前是否有人在这样做?如果是,我是否有上述“推荐”方法来一次性导入红移?您似乎想: 从Amazon RDS Post
在拼凑各种博客和文章的过程中,大家的共识似乎是使用
pg_dump
将表格复制到csv文件中,然后将其复制到S3存储桶中,然后使用Redshiftcopy
命令将其带到新表格中——这是我的高级理解,但是我不确定命令行开关应该是什么,或者实际的细节。目前是否有人在这样做?如果是,我是否有上述“推荐”方法来一次性导入红移?您似乎想:
- 从Amazon RDS PostgreSQL导出
- 导入亚马逊红移
aws_s3
PostgreSQL扩展
这将把一个CSV文件保存到AmazonS3中
然后,您可以使用Amazon RedshiftCOPY
命令将此CSV文件加载到现有的Redshift表中
您需要某种方法来协调这些操作,包括对RDS数据库运行命令,等待命令完成,然后在红移数据库中运行命令。这可以通过一个Python脚本来完成,该脚本依次连接到每个数据库(例如通过
psycopg2
)并运行命令。您似乎想要:
- 从Amazon RDS PostgreSQL导出
- 导入亚马逊红移
aws_s3
PostgreSQL扩展
这将把一个CSV文件保存到AmazonS3中
然后,您可以使用Amazon RedshiftCOPY
命令将此CSV文件加载到现有的Redshift表中
您需要某种方法来协调这些操作,包括对RDS数据库运行命令,等待命令完成,然后在红移数据库中运行命令。这可以通过一个Python脚本来完成,该脚本依次连接到每个数据库(例如通过psycopg2
)并运行命令