Amazon web services 从SFTP获取文件到S3 AWS

从SFTP中的目录获取数据并复制到AWS S3的bucket中的更好选项是什么在SFTP中，我只有读取权限，因此Rsync不是选项

---

我的想法是使用Python在GLUE中创建一个作业，将此数据y拷贝下载到S3的存储桶中。它们是不同的文件，一个重约600 MB，其他文件为4 GB。

假设您谈论的是一个不在AWS上的sFTP服务器，您有一些不同的选项，可能比您建议的更简单（尽管您的解决方案可以工作）：

将下载到sFTP服务器上，并通过

AWS s3 cp

命令复制文件

使用编写脚本以获取文件并复制它们。您可能需要根据文件大小使用多部分上传

您可以创建一个直接链接到s3存储桶作为该服务器的后端存储，然后使用

sftp

命令复制文件

---

请注意，您需要在AWS帐户中拥有适当的权限才能完成这3（或4）个解决方案中的任何一个。

假设您谈论的是一个不在AWS上的sFTP服务器，您有一些不同的选项，可能比您建议的更容易（尽管您的解决方案可以工作）：

将下载到sFTP服务器上，并通过

AWS s3 cp

命令复制文件

使用编写脚本以获取文件并复制它们。您可能需要根据文件大小使用多部分上传

您可以创建一个直接链接到s3存储桶作为该服务器的后端存储，然后使用

sftp

命令复制文件

---

请注意，您需要在AWS帐户中拥有适当的权限才能完成这3（或4）个解决方案中的任何一个。

第一个选项不可用。在SFTP服务器上，我只有读卡器权限。我无法安装其他服务。我正在用paramiko测试的第二个选项，但在多部分加载中缺少MB。第三个选择我没有尝试过，但我有疑问。我可以将来自其他Sftp的文件带到AWS传输系列吗？考虑到捕获说明，我必须在AWS中说明。第一个选项不可用。在SFTP服务器上，我只有读卡器权限。我无法安装其他服务。我正在用paramiko测试的第二个选项，但在多部分加载中缺少MB。第三个选择我没有尝试过，但我有疑问。我可以将来自其他Sftp的文件带到AWS传输系列吗？考虑到捕获说明，我必须在AWS中说出来。