Curl 将URL指向的文件保存到AWS S3

Curl 将URL指向的文件保存到AWS S3,curl,amazon-web-services,amazon-s3,wget,Curl,Amazon Web Services,Amazon S3,Wget,我在一个文本文件中有一组URL。这些URL指向一些pdf、doc、HTML或txt文件。我想在AWSS3上保存这些文件,而不必在本地系统上下载文件,然后将其推送到S3(最好是python或bash脚本) 提前感谢。不幸的是,这是不可能的。S3只接受要下载的内容,不接受URL。但是,有许多选项可以使用其他低成本的AWS服务为您进行下载/上传 考虑创建一个Lambda,它接受一个URL并下载该URL,然后将其上传到S3。您可以运行一个脚本,在文件的各行之间循环,并为每行触发一个Lambda(注意La

我在一个文本文件中有一组URL。这些URL指向一些pdf、doc、HTML或txt文件。我想在AWSS3上保存这些文件,而不必在本地系统上下载文件,然后将其推送到S3(最好是python或bash脚本)


提前感谢。

不幸的是,这是不可能的。S3只接受要下载的内容,不接受URL。但是,有许多选项可以使用其他低成本的AWS服务为您进行下载/上传

考虑创建一个Lambda,它接受一个URL并下载该URL,然后将其上传到S3。您可以运行一个脚本,在文件的各行之间循环,并为每行触发一个Lambda(注意Lambda并发运行限制)

在Node.js中,使用请求库,该lambda的代码将非常简单