Amazon web services 从第三方API获取结果并将结果转储到S3中

我一般不熟悉AWS和云服务。我计划做的是不断地从第三方API获取数据，该API每次以JSON的形式返回结果（每个3-5MB），并将结果转储到S3存储桶中。我想自动化这个过程，目前我的解决方案是在EC2实例上运行python脚本，以获得结果并传输到S3 bucket，就像我在本地实例上手动执行的那样。这是实现这种数据收集的方法吗？由于我是新手，我想留在免费层。提前感谢。

您尚未提供API响应的典型大小。据我所知，这是一个实验项目。我希望这些建议能有所帮助：

• 看看
• 使用t2.micro
• 在aws上设置账单提醒-任何事情都可能发生，支付5美元仍然比支付500美元要好

我不确定您是否已经使用了s3，但也需要考虑以下几点：

• 计算要存储的数据量（MB）
• 在s3上设置生命周期策略以删除N天以前的对象（除非您需要）
• 确保版本控制已关闭（除非您需要）

来自文档：注册后，新的AWS客户将在标准存储类中获得5 GB的Amazon S3存储，20000个Get请求，2000个Put请求，以及每月15 GB的数据传输，为期一年

所以，您可能希望将对象分批放入s3（我的意思是一个对象将包含来自API的多个响应）。如果脚本将每秒运行一次并将对象推送到s3，那么2000个释放请求似乎是瓶颈

---

祝你好运：）

谢谢你的回答！现在，通过在后台的ec2实例上运行python脚本（nohup），我得到了我想要做的事情。但是，这需要实例持续运行（并消耗配额），而我只需要每隔几个小时进行一次数据转储。我正在寻找一个使用AWS Lambda的解决方案，它不需要一直运行实例。