Amazon s3 定期将数据从S3存储桶流至红移

我有一些数据存储在S3中。我需要定期将此数据从S3克隆/复制到红移群集。要进行大容量复制，我可以使用copy命令从S3复制到redshift

类似地，有任何简单的方法可以周期性地将数据从S3复制到红移

---

谢谢

尝试使用AWS数据管道，它有各种模板用于将数据从一个AWS服务移动到另一个AWS服务。“将数据从S3加载到红移”模板将数据从AmazonS3文件夹复制到红移表中。可以将数据加载到现有表中，也可以提供SQL查询来创建表。红移表必须与AmazonS3中的数据具有相同的模式

---

数据管道支持按计划运行的管道。您有一个用于调度的cron样式编辑器

尝试使用AWS数据管道，该管道具有用于将数据从一个AWS服务移动到另一个AWS服务的各种模板。“将数据从S3加载到红移”模板将数据从AmazonS3文件夹复制到红移表中。可以将数据加载到现有表中，也可以提供SQL查询来创建表。红移表必须与AmazonS3中的数据具有相同的模式

---

数据管道支持按计划运行的管道。您有一个用于调度的cron样式编辑器

我相信，动静消防软管是完成此任务的最简单方法。只需创建一个Kinesis Forehose流，将其指向红移集群中的特定表，将数据写入流，完成：）

此处的完整设置过程：

---

我相信动静消防水带是完成这项工作的最简单方法。只需创建一个Kinesis Forehose流，将其指向红移集群中的特定表，将数据写入流，完成：）

此处的完整设置过程：

---

AWS Lambda Redshift Loader

是一个很好的解决方案，每当新文件出现在Amazon S3上的预配置位置时，它都会在Redshift上运行复制命令

链接：

---

AWS Lambda Redshift Loader

是一个很好的解决方案，每当新文件出现在Amazon S3上的预配置位置时，它都会在Redshift上运行复制命令

链接：

---

仅当红移可公开访问时，动静选项才起作用。

仅当红移可公开访问时，动静选项才起作用。

您可以对lambda使用copy命令。您可以配置2个lambda。一个将为即将到来的新数据创建一个清单文件，另一个将从该清单中读取，并使用红移数据api将其加载到红移上。

您可以对lambda使用copy命令。您可以配置2个lambda。一个将为即将到来的新数据创建一个清单文件，另一个将从该清单中读取，并使用redshift data api将其加载到redshift上。

您好，虽然管道可用于按计划复制数据，但我想它将复制整个数据。我们需要增量复制数据，即复制一次的数据不应再次复制。我在管道中找不到任何文档来执行此操作？有吗。我也在读关于Lambda函数的书。他们能来这里救援吗？嗨，虽然管道可以用于按计划复制数据，但我想它会复制整个数据。我们需要增量复制数据，即复制一次的数据不应再次复制。我在管道中找不到任何文档来执行此操作？有吗。我也在读关于Lambda函数的书。他们能来这里救援吗？现在有更好的选择将s3数据移动到红移集群吗。一旦数据到达s3，它将自动红移。。有来自aws的任何解决方案..请分享现在有没有更好的选项将s3数据移动到红移集群。一旦数据到达s3，它将自动红移。。有来自aws的任何解决方案…请分享