分配临时VM以并行化一次性批处理作业（GCP、Azure或AWS）

我正在评估在临时云虚拟机上启动任意Python任务/脚本的选项，这些虚拟机在作业完成后会关闭。我正在研究所有云提供商，但理想的解决方案不应该是特定于供应商的。以下是我的发现：

• Docker Swarm/Kubernetes/Nomad用于旋转Docker集装箱。所有这些看起来都很吸引人，但无法确认任务完成后是否可以终止VM
• 云功能/lambda看起来很棒，但只适用于短期（几分钟）任务。此外，GCP只支持JavaScript
• 使用特定于供应商的命令从启动脚本显式旋转上/下虚拟机。直截了当，应该有效
• AWS批处理，Azure批处理-针对批处理作业的供应商特定服务
• AWS数据管道、Azure数据工厂、Google数据流-针对数据管道的供应商特定服务

---

我错过了什么好的选择吗？Docker Swarm等容器编排服务是否支持分配和释放多个临时虚拟机以运行一次性作业？

因此，据我所知，您的目标是拥有一个可以在任何云上执行Python的系统，同时仅在需要时保持资源打开。你有没有看过任何公开的工作日程安排？通过链接操作，您将创建第三个场景。感谢您的评论。我的目标是找到运行自定义批处理作业（如爬虫）的最简单方法，完全不管理虚拟机，只为实际使用的计算小时付费。到目前为止，CCP数据流似乎是最好的匹配——它可以并行运行任务，它基于开源API（Apache Beam）并可以管理VM。我确认人们用它做临时工作。是的，我查看了一些开源作业调度程序，如芹菜和气流-它们不为您管理虚拟机：（不明白为什么这个问题会被否决…我如何改进它？我认为这是一个合法的问题。我认为要查找的关键字应该是“多云作业调度程序”.从中，我知道ActiveEon通过提供此功能，但JAM可能具有类似的属性。