Amazon web services 具有200GB AMI的AWS spot实例能否快速启动？

我有一个数据科学应用程序，我需要每2-3小时运行一次，其中我需要使用64个内核，以令人尴尬的并行方式运行6分钟。每个内核需要从磁盘加载3GB的数据，总共需要192GB的磁盘数据

为了以经济高效的方式实现这一点，我的计划是在需要运行其中一个作业时使用脚本启动64核EC2 spot实例。我还计划有一个200GB的AMI和我需要的数据。然后，当EC2实例启动时，我可以运行64个作业，每个作业都可以从那里的SSD加载3GB的数据

---

这会起作用吗？使用大型AMI启动EC2 spot实例需要多长时间？如果启动实例需要几分钟，那就不好了，因为我只想快速运行6分钟的作业。有没有更好的方法来实现我的工作流？

我在一个m5n.16xlarge实例上运行了一个快速测试，该实例有64个CPU，没有额外的存储。实例立即启动，就像在前10秒钟一样。使用大型EBS支持的AMI的额外存储不会影响引导时间

我注意到这些实例类型具有AMI中包含的600GB高性能本地存储：

物理连接到主机服务器的本地基于NVMe的SSD块级存储可用于所有M5d、M5dn和M5ad实例。这些实例非常适合需要访问高速、低延迟本地存储的应用程序，包括需要临时存储数据以获得临时空间、临时文件和缓存的应用程序

<>您可以考虑将数据移动到S3，并将其复制到本地存储进行处理。如果您需要更频繁地更改数据，它将使AMI独立于您的数据。这些大型实例分配了10GB的带宽，因此数据传输应该很快。但是，每次启动都会产生S3传输成本

在AMI启动配置上，确保使用通用SSD或gp2 EBS卷作为根卷-这比旧的HDD磁卷类型更快

---

你自己做过基准测试吗？这将是唯一可以确定的方法。根据EC2负载和操作系统初始化时间的不同，可能需要1到5分钟。@RodrigoM在我的位置上的人会如何使用云来运行作业呢？如果启动一个实例需要1-5分钟，运行6分钟，那么我的运行时间增加了50%。那么你最多有11分钟的工作。我不知道你处于什么位置。但您应该将启动时间构建到使用预测中。基准测试然后优化。有了这么多的cpu，它应该很快。@RodrigoM用一个非常大的AMI来启动一个EC2实例需要额外的钱吗？谢谢你做这个测试。我也做了测试，并注意到它立即启动。我正在使用gp SSD。但是，我认为数据IO非常慢，因为AMI正在逐渐传输到本地SSD。因此，我对您的解决方案感兴趣—将数据移动到S3并复制它。。。。我将如何实现这一点？