Postgresql 将一个表从RDS/postgres加载到红移

Postgresql 将一个表从RDS/postgres加载到红移,postgresql,amazon-web-services,amazon-redshift,amazon-rds,Postgresql,Amazon Web Services,Amazon Redshift,Amazon Rds,我们有一个红移集群,需要从我们的一个RDS/postgres数据库中获取一个表。我不太确定导出数据并将其导入的最佳方法,确切步骤应该是什么 在拼凑各种博客和文章的过程中,大家的共识似乎是使用pg_dump将表格复制到csv文件中,然后将其复制到S3存储桶中,然后使用Redshiftcopy命令将其带到新表格中——这是我的高级理解,但是我不确定命令行开关应该是什么,或者实际的细节。目前是否有人在这样做?如果是,我是否有上述“推荐”方法来一次性导入红移?您似乎想: 从Amazon RDS Post

我们有一个红移集群,需要从我们的一个RDS/postgres数据库中获取一个表。我不太确定导出数据并将其导入的最佳方法,确切步骤应该是什么


在拼凑各种博客和文章的过程中,大家的共识似乎是使用
pg_dump
将表格复制到csv文件中,然后将其复制到S3存储桶中,然后使用Redshift
copy
命令将其带到新表格中——这是我的高级理解,但是我不确定命令行开关应该是什么,或者实际的细节。目前是否有人在这样做?如果是,我是否有上述“推荐”方法来一次性导入红移?

您似乎想:

  • 从Amazon RDS PostgreSQL导出
  • 导入亚马逊红移
发件人:

您可以从RDS for PostgreSQL DB实例查询数据,并将其直接导出到存储在Amazon S3存储桶中的文件中。为此,您可以使用AmazonRDS提供的
aws_s3
PostgreSQL扩展

这将把一个CSV文件保存到AmazonS3中

然后,您可以使用Amazon Redshift
COPY
命令将此CSV文件加载到现有的Redshift表中


您需要某种方法来协调这些操作,包括对RDS数据库运行命令,等待命令完成,然后在红移数据库中运行命令。这可以通过一个Python脚本来完成,该脚本依次连接到每个数据库(例如通过
psycopg2
)并运行命令。

您似乎想要:

  • 从Amazon RDS PostgreSQL导出
  • 导入亚马逊红移
发件人:

您可以从RDS for PostgreSQL DB实例查询数据,并将其直接导出到存储在Amazon S3存储桶中的文件中。为此,您可以使用AmazonRDS提供的
aws_s3
PostgreSQL扩展

这将把一个CSV文件保存到AmazonS3中

然后,您可以使用Amazon Redshift
COPY
命令将此CSV文件加载到现有的Redshift表中

您需要某种方法来协调这些操作,包括对RDS数据库运行命令,等待命令完成,然后在红移数据库中运行命令。这可以通过一个Python脚本来完成,该脚本依次连接到每个数据库(例如通过
psycopg2
)并运行命令