Cloud 为不频繁的大型云计算选择云服务

短期：偶尔需要50个云虚拟机10分钟，每次1-2次 一天

任务是处理数百GB的数据。数据分为小块，所有的处理代码都已实现，可以从一个核扩展到数百个核。在50个虚拟机上处理数据集平均需要10分钟（每个虚拟机具有16+GB RAM，总共200个内核）

处理任务不频繁且不可预测（根据用户请求），因此保持云虚拟机始终打开没有意义

然而，大多数云服务的扩展速度都很慢，因此“50台虚拟机上10分钟”变成了30分钟以上，在虚拟机启动时浪费时间——即使在这种情况下，资源也不会100%使用，因为当最后一台虚拟机最终联机时，任务已经处理完毕。在这之后是一段“完全浪费”的时期，当这些虚拟机再关闭30多分钟，但仍然是收费的

---

是否有任何已知的云服务能够快速启动和停止50个虚拟机以执行此类任务？最好是透明的定价。

< P>可以考虑使用为高性能计算（HPC）设计的Azure批处理服务。 它意味着在100秒或100秒的虚拟机上运行计算密集型任务，并自动扩展。您可以让它们按需运行，也可以根据时间表运行。一旦虚拟机准备好开始运行您的任务，您就需要付费

这里有一些有用的介绍性链接

（有点老了）

Azure批次是指HPC，所以你应该首先考虑你的工作是否属于那个类别并且需要那些资源。

---

我不知道还有其他云平台，所以在这方面我帮不了你。

如果你的工作是容错的，你可以使用谷歌云的可抢占实例。有些实例最多持续24小时，然后自动关闭，比普通实例便宜70%左右

如果机器在10分钟内关闭，则它是免费的。 另外，在我使用的所有其他提供商（包括AWS）中，谷歌云的实例是最快的。旋转通常需要不到30秒的时间

有关更多信息：

要同时启动多个实例，可以执行以下操作：

1-创建一个实例，安装批处理所需的所有必要软件

2-从此实例创建一个可以重用的映像

3-使用该映像创建新实例模板，并指定需要可抢占实例。现在，您从该模板创建的任何实例都可以工作了。这是很容易做到的，因为创建一个模板看起来很像创建一个唯一的实例

4-基于该模板创建实例组。执行此操作时，您可以指定所需的实例数（本例中为50）。然后GCP将立即旋转它们

5-现在你可以在你想要的时候自己杀死他们，或者你可以让他们离开，他们可以活24小时，并且会被自动杀死。您可以随时更改实例组中的实例数

更多信息：

这是最简单、最干净的方法。你只需要做一次，然后只要点击几下就可以随时旋转你的实例

另一种方法是编写一个小脚本，循环并创建一个实例，50次

---

希望这能有所帮助。

Azure批处理有我在问题中提到的所有缺点：它不是为按需快速启动虚拟机而设计的。它的目的是处理恒定的高性能混凝土负载。。。如果我错了，请告诉我。事实上，通过指定公式，您可以根据参数动态添加/删除计算节点。我是否可以创建公式以将其缩放到0到50个节点，并在处理完成后（10分钟内）将其缩放回0？它的上下扩展速度有多快？

自动缩放目前并不打算在不到一分钟的时间内响应更改，而是打算在您运行工作负载时逐渐调整池的大小。

最小缩放阈值为5分钟，这意味着我的处理时间将加倍（如果点火至少需要10分钟，则为三倍）然后是决定平均任务的最佳池大小，并将其用作起始大小的问题。无论您如何扩展，都需要一些时间来启动一个新的VM。我不认为您可以避免这种情况。这与StackOverflow无关-您要求的是工具/服务建议。这不是一个编程问题，而是一个问题nd不能客观地回答。@Davidmakoon我不同意：目前没有可观察到的符合需求的工具，所以很容易提供客观的答案——只要说出符合需求的工具。@Davidmakoon不止这些——我不明白这个问题是如何“非编程”的：我是一名程序员，在项目中需要这样的解决方案。是的，但你要问的是使用哪一种云。这不是一个编程问题。这是一个供应商选择问题。调查不同的供应商，看看他们提供了什么，这很容易。而且……除了少数例外，我们都是程序员；这不会改变什么是离题的。

如果您的问题通常涉及……程序员常用的软件工具……那么您就可以提出您的问题了！

这就是问题所在！您认为每天创建50个可抢占实例集是可能的吗？当然，我已经更新了答案，并提供了更多关于如何做到这一点的详细信息。