在AWS中运行Python脚本的最佳位置是哪里？

我刚刚使用AWS，需要运行批处理（每天）并将数据存储在MySQL数据库中。提取和转化大约需要30分钟。作为旁注，我需要运行熊猫

我读到lambda函数限制为5分钟

我在考虑将EC2微实例与Ubuntu或Elastic Beanstalk实例一起使用。亚马逊RDS的MySQL数据库

---

我走对了吗？在AWS中运行python代码的最佳位置在哪里？

我正在使用大约2-3个Ubuntu EC2实例来运行python脚本（通过cronjob）以实现不同的目的，并使用RDS for PostgresDB，到目前为止，所有这些都运行得很好。所以我觉得你应该试试EC2和RDS。祝你好运

我将创建一个EC2实例，安装Python和MySQL，并在该实例上托管所有内容。如果您需要更高的可用性，您可以使用ASG来维护至少一个实例的运行。如果一个AZ出现故障，或者系统出现故障，ASG将在另一个AZ中启动另一个实例。使用CloudWatch进行EC2实例监视

---

如果您不需要数据库的24小时可用性，您甚至可以安排实例在不需要时启动和停止，以降低成本。

如果您需要每天运行一次或两次这些操作，您可能需要查看新的AWS批处理服务，它将允许您运行批处理作业，而无需担心DevOps

如果你有足够的工作让计算机在一天中的大部分时间都很忙，我相信最好的解决方案是运行基于Docker的解决方案，这将使你能够更轻松地管理你的映像，并能够在本地主机上进行测试（如果有必要，也可以更轻松地移动到另一个云）。AWS ECS让这和弹性豆茎一样简单

我的前端运行在Elastic beanstalk上，后端工作人员运行在ECS上。在我的例子中，我的python工作人员在一个无限循环上运行，检查SQS消息，以便服务器可以通过SQS消息与他们通信。但我也有CloudWatch规则（作为cron作业），可以唤醒并调用Lambda函数，然后发布SQS消息供工作人员处理。然后，我可以在同一个t2.small ECS实例上运行三个工作容器。如果其中一个工作进程失败，ECS将重新创建一个工作进程

---

总而言之，在AWS ECS上的Docker上使用python。

SQS+Lambda是这里的“简单”方法，但您可能需要将问题划分为更小的部分，以使其符合时间限制。同时查看Spot实例。对于批处理，获得一个像样的m3/m4/r3/etc现场实例比t2.*更便宜、更快。