Amazon ec2 AmazonEC2的原型设计

Amazon ec2 AmazonEC2的原型设计,amazon-ec2,cloud-hosting,Amazon Ec2,Cloud Hosting,人们(和初创公司)如何在amazon上进行原型设计/部署,并保持成本合理?上个月,我们测试了一些特定的应用程序,运行了自己的hadoop集群,并且仅为了测试就花费了将近1.5万美元?当然,它们有微实例,但若你们的应用程序是如此密集,甚至需要一个更大的实例来测试,那个该怎么办呢?所以我想了解一下人们是如何做到这一点的?几个关键问题: 考虑局部测试台的某些用途,并考虑给定测试是否真的需要EC2。如果真的很难找到2-4台机器来作为Hadoop的测试平台,那么问题就不同了。不管你要运行什么,你都要想一想

人们(和初创公司)如何在amazon上进行原型设计/部署,并保持成本合理?上个月,我们测试了一些特定的应用程序,运行了自己的hadoop集群,并且仅为了测试就花费了将近1.5万美元?当然,它们有微实例,但若你们的应用程序是如此密集,甚至需要一个更大的实例来测试,那个该怎么办呢?所以我想了解一下人们是如何做到这一点的?

几个关键问题:

  • 考虑局部测试台的某些用途,并考虑给定测试是否真的需要EC2。如果真的很难找到2-4台机器来作为Hadoop的测试平台,那么问题就不同了。不管你要运行什么,你都要想一想Hadoop将如何发挥作用,并在这方面下功夫。随着时间的推移,您还需要更改网格、升级软件、修改其他想法等。当您转到EC2时,您已经平滑了一些粗糙的边缘
  • 在掌握诀窍时,不要使用比你需要的容量更大的机器。如果您在这个阶段没有推送大量数据或计算周期,那么不要为集群计算节点、大量RAM实例等而烦恼。只需关注正确设置即可
  • 当您准备好重新定位到功能更强大的机器时,请尝试几种不同的机器设置。也许集群计算实例会有回报,也许您不需要这种吞吐量:在您了解瓶颈之前,不要超支
  • 确保在测试阶段经常使用spot实例。您通常会支付按需价格的50%左右
  • 如果您想要为按需实例付费,那么根据需要使用一个单独的实例启动和停止Hadoop实例——除非您需要一个大的集群—全集群计算实例
  • 让你的AMI尽快上线(不超过1分钟),如果没有必要,不要让任何东西在一夜之间或周末运行
  • 在系统建立并运行之前,你基本上是在支付学费,学习如何根据自己的需要定制所有东西。只需支付“学费”来学习每一个课程(配置、瓶颈、扩展等),而不是试图一次完成所有事情。当你把它作为一系列的经验教训来对待时,花钱就不那么痛苦了,但只要你知道你将要测试和学习什么,你也会更明智地花钱


    最后,将1500美元与这次学习经历的劳动力成本进行比较——从长远来看,这可能不是什么大问题。一旦你知道某件事情将是一个合理的计算工作块,它是精心设计的,并且会很快完成(尽管在许多机器上),在它上面花钱就不会那么痛苦了。现在,很难理解你所学到的东西,因为它对你组织的目标没有好处。

    考虑使用spot实例。如果你出价过高,你几乎可以肯定它不会被终止。从长远来看,它们在保留实例的级别上有价格,但您不需要预先付费。我相信您也可以将测试安排在非高峰时间,以达到更好的价格,或者如果现货实例价格超过按需一次,则切换到按需一次-Hadoop应该可以很好地处理它。检查。它还引用了另外两篇分析spot实例潜力的文章

    在进行亚马逊云概念验证时解决成本问题

    我使用AmazonAWSAPI创建了一个轻量级Java应用程序,当我想对其运行测试时,它会创建AmazonCloud实例。一旦测试完成或启动失败,应用程序将通过发送诊断邮件立即终止实例


    因此,没有一个amazon实例保持运行或处于理想状态。如果您手动创建/终止或通过单独的程序创建/终止,可能会发生这种情况。

    但提供/支持您自己的等效硬件需要多少成本?如果是15K+,你得到了一个便宜货…关于非高峰时间的好建议。您是否注意到现货的季节性(即峰值/非峰值)趋势?我倾向于在任何时候都得到相同的价格,但对于其他实例类型可能会有所不同。很高兴提供帮助。顺便说一句,如果你学到了更多的想法,请随时回来分享。对我们其他人来说,花更多的钱也很有价值