Amazon web services 将文件从SFTP复制到AmazonS3

Amazon web services 将文件从SFTP复制到AmazonS3,amazon-web-services,hadoop,amazon-s3,Amazon Web Services,Hadoop,Amazon S3,我正在尝试将文件从SFTP复制到S3。 我不想使用文件中间服务器,请向我建议方法。我假设您没有访问/控制sftp服务器的权限。如果你有访问权限,这很容易 否则,选择您选择的语言并流式传输数据。例如,在Python中,您可以使用ssftp.getfo()并将文件流指向Boto的s3.key.send\u file()。这样就不需要将文件下载到磁盘 但是,无法告诉随机SFTP服务器将其发送到S3。感谢您的回复,是的,我正在使用python paramiko的模块。目前我这样做的方式是,首先将文件复制

我正在尝试将文件从SFTP复制到S3。
我不想使用文件中间服务器,请向我建议方法。

我假设您没有访问/控制sftp服务器的权限。如果你有访问权限,这很容易

否则,选择您选择的语言并流式传输数据。例如,在Python中,您可以使用s
sftp.getfo()
并将文件流指向Boto的
s3.key.send\u file()
。这样就不需要将文件下载到磁盘


但是,无法告诉随机SFTP服务器将其发送到S3。

感谢您的回复,是的,我正在使用python paramiko的模块。目前我这样做的方式是,首先将文件复制到edge节点,然后移动到s3,如果您有任何非常有用的示例的话appreciated@sundeepveeramachaneni,我已经给了你代码的指针。这应该足以让你至少尝试自己编写代码。