Amazon web services 在AWS服务上运行抓取脚本

我正在从互联网上抓取数据，并希望用AWS自动完成。我检查了两个解决方案：AWS数据管道和AWS Lambda

数据管道似乎无法访问在线网站。对吗

AWS Lambda只允许运行我的函数15分钟，而我的刮片大约需要25分钟。再说一次，这不符合我的目的

---

我应该在我的用例中使用哪个AWS服务？

您可以启动一个Amazon EC2实例。您可以通过用户数据字段传递启动脚本，该字段将在实例首次启动时执行

然后，当任务完成时，停止或终止实例

请注意，您选择的将具有不同的网络带宽，这可能会影响刮削任务的速度

请始终尊重您的目标网站的条款和条件，以便您的刮擦活动不会违反其条款