Amazon ec2 ec2启动时间的行为

我有一个用例，我们有一个非常大的计算任务，可以相当有效地分解成许多小的工作单元。对于一个

m4.large

实例，可以有效地进行1000小时的计算工作。假设我希望在接下来的10分钟内返回结果，这意味着我需要6000个实例才能及时完成任务

到目前为止，我已经设置了AWS批处理，我只使用了您帐户附带的20个大型实例。我知道我可以增加AWS请求的实例数量，但如果您突然尝试提供数千个按需实例，或者AWS限制了您可以使用的实例数量，我仍然不太了解这种行为

---

所以我的问题是，我是否能够按需启动数千个

m4.大型
实例？如果是这样的话，我会在什么样的时间内让所有实例都进入
运行状态。
我用大约100个实例做了很多次，但从来没有在数千个实例中这样做过

步骤1：使用AWS打开支持票证。您需要获得帐户批准、信用检查等。我的客户是非常大的公司，因此对他们来说，信用和批准过程很容易。如果你是个小家伙，我不知道

第二步：仔细考虑你的VPC设计，以及你将如何处理这么多的实例。如果有5个实例通过NAT网关是一回事，但100个系统将使其无法连接互联网

第三步：仔细考虑所需的网络带宽。您是否需要安置组或高速内联网或互联网连接

步骤4：准备好不能启动具有特定实例类型的所有实例（容量不可用错误）。有一系列可以依赖的实例

步骤5：创建您自己的软件，我使用Python来启动实例、执行更新、安装软件等。然后您可以使用Boto3 EC2 API轮询实例，以确定所有实例何时都在运行。1000个实例的时间长度与1个实例的时间长度相差不大

现在来看看现实世界。如果您的工作需要1000小时，那么启动1000个实例不会将其减少到1小时，除非您有一个真正可扩展的软件设计，并且需要最少的机器间通信。一旦超过10个系统，网络带宽和通信开销就会成为一个问题。尽管AWS的资源非常巨大，但由一个客户一次启动1000个EC2实例并不是常见的启动案例

我也不会启动1000个实例来将处理时间缩短到10分钟。您的实例可能需要10分钟才能联机、更新、同步等。这意味着您将花费预算的50%等待时间。对于今天非常大的作业，我们更喜欢使用Hadoop/Spark，在这种情况下，可以扩展到数百台机器。
我已经用大约100个实例多次这样做了，但从来没有用过数千个实例

步骤1：使用AWS打开支持票证。您需要获得帐户批准、信用检查等。我的客户是非常大的公司，因此对他们来说，信用和批准过程很容易。如果你是个小家伙，我不知道

第二步：仔细考虑你的VPC设计，以及你将如何处理这么多的实例。如果有5个实例通过NAT网关是一回事，但100个系统将使其无法连接互联网

第三步：仔细考虑所需的网络带宽。您是否需要安置组或高速内联网或互联网连接

步骤4：准备好不能启动具有特定实例类型的所有实例（容量不可用错误）。有一系列可以依赖的实例

步骤5：创建您自己的软件，我使用Python来启动实例、执行更新、安装软件等。然后您可以使用Boto3 EC2 API轮询实例，以确定所有实例何时都在运行。1000个实例的时间长度与1个实例的时间长度相差不大

现在来看看现实世界。如果您的工作需要1000小时，那么启动1000个实例不会将其减少到1小时，除非您有一个真正可扩展的软件设计，并且需要最少的机器间通信。一旦超过10个系统，网络带宽和通信开销就会成为一个问题。尽管AWS的资源非常巨大，但由一个客户一次启动1000个EC2实例并不是常见的启动案例

我也不会启动1000个实例来将处理时间缩短到10分钟。您的实例可能需要10分钟才能联机、更新、同步等。这意味着您将花费预算的50%等待时间。对于今天非常大的作业，我们更喜欢使用Hadoop/Spark，因为它可以扩展到数百台机器。
您可以联系AWS客户服务以增加EC2限制（使用EC2管理控制台限制部分中显示的链接）。他们将验证您的用例

<>你也可以考虑使用<强>现货定价来降低你的成本。现场实例需要更长的时间来配置

示例用例：

也有类似的服务可以帮助您以尽可能低的成本配置服务器。
您可以联系AWS客户服务以增加EC2限制（使用EC2管理控制台的限制部分中显示的链接）。他们将验证您的用例

<>你也可以考虑使用<强>现货定价来降低你的成本。现场实例需要更长的时间来配置

示例用例：

还有类似的服务可以帮助您以尽可能低的成本配置服务器。
感谢您分享您的经验。我们使用的是基于docker的应用程序，所以我认为我不能使用EMR。lar呢