如何使用pandas或python将包含数百万行的表从PostgreSQL复制到Amazon Redshift

使用pandas或python将表（包含数百万行）从一种数据库类型复制到另一种数据库类型的最佳方法是什么

我在PostreSQL数据库中有一个由数百万行组成的表，我想把它移到AmazonRedshift。使用pandas或python实现这一目标的最佳方法是什么？

• 如果您使用的是Aws服务，那么最好使用Aws Glue，它使用python脚本进行ETL操作，例如，对于Dynamo-->Redshift非常理想

• 如果您不仅使用Aws服务，是否尝试将红移数据导出为csv？（我这样做了数百万行）&使用c#或其他工具创建一个迁移工具来读取csv文件，并在转换后插入行或其他内容[检查您使用的数据库技术是否可以直接获取csv，这样您就可以避免自己进行迁移

---

亚马逊数据库迁移服务（DMS）可以处理：
或者，如果您希望自己做：
• 将PostgreSQL中的数据导出到CSV文件中（可以进行gzip压缩）
• 将文件上载到AmazonS3
• 在Amazon Redshift中创建目标表
• 使用Amazon Redshift中的

  COPY

  命令将CSV文件加载到Redshift中

---

最好的方法是使用Postgresql工具复制它，而不使用python或pandas：你说的“最佳”是什么意思？我使用

copy

命令。这实际上是在现有表中插入大量数据的最佳方法。