Amazon s3 AWS |从SFTP提取数据

我计划编写一个数据管道，将数据从prem SFTP服务器拉到S3。我怎样才能做到这一点？我只对AWS特定服务感兴趣。

假设您有一个密钥文件连接到AWS实例，您可以使用scp在文件传输命令中指定它：

scp -i ~/.ssh/<aws_key>.pem <path_to_source_file> <aws_user>@<aws_ip>:<destination_path>

scp-i~/.ssh/.pem@:

AWS提供了一种本机方式，可将文件从任何prem服务器直接传输到s3AWS传输系列。它是一个用于S3的多AZ、高可用性、大规模扩展的SFTP接口。基本上，您将运行cron或调度器进程，通过AWS SFTP服务器将on-prem SFTP服务器文件传输到S3存储桶中

文件链接-

这里唯一的问题是它的定价。成本稍微高一点。有价格较低的第三方工具，如AWS的SFTP网关，可在AWS市场上找到

文件链接-

---

最后，如果您的用例很简单，每天只有很少的SFTP上传，那么解决方案将是使用T2/T3 EC2实例和cronjob来运行定制开发的管道脚本，从prem SFTP服务器上提取数据。

使用以下AWS服务：AWS Transfer for SFTP

通过使用AWS SFTP传输，您可以将小型数据集（5 TB或更小）或更大的数据集从本地SFTP服务器迁移到AWS S3。数据可以是数据库转储或平面文件。此解决方案将非常昂贵

有关更多信息，请参阅AWS文档中的参考：

---

为了获得经济高效的解决方案，请使用任何开源工具，从本地SFTP服务器直接将数据发送到AWS S3，如诸如此类。

这不是一个好办法。@Pratik Garg，如果您喜欢任何答案，并且它对您有效，请批准它，并按照Stack Overflow的建议进行投票。谢谢。AWS传输系列将使用S3设置SFTP。但它不能用作数据摄取工具