Amazon ec2 针对计算密集型(非web)并行应用程序的EC2入门

Amazon ec2 针对计算密集型(非web)并行应用程序的EC2入门,amazon-ec2,machine-learning,libsvm,Amazon Ec2,Machine Learning,Libsvm,我使用LIBSVM进行回归分析。像冠军一样工作。但是,在我的2.66 GHz英特尔机箱上,通过3参数网格搜索来优化该型号的参数,使所有四个内核都达到了最大值,我仍然需要等待几个小时才能生成一个型号 这似乎是AmazonEC2的工作 我已经看过很多关于使用EC2执行web相关任务的教程和介绍材料 但是,如果您有一个小型的计算密集型自定义ANSI-C程序,希望在EC2上运行多个实例,该怎么办?有没有人能提供关于如何实现这一点的建议(甚至只是搜索流行语)?我认为您的搜索与web应用程序的搜索没有太大区

我使用LIBSVM进行回归分析。像冠军一样工作。但是,在我的2.66 GHz英特尔机箱上,通过3参数网格搜索来优化该型号的参数,使所有四个内核都达到了最大值,我仍然需要等待几个小时才能生成一个型号

这似乎是AmazonEC2的工作

我已经看过很多关于使用EC2执行web相关任务的教程和介绍材料


但是,如果您有一个小型的计算密集型自定义ANSI-C程序,希望在EC2上运行多个实例,该怎么办?有没有人能提供关于如何实现这一点的建议(甚至只是搜索流行语)?

我认为您的搜索与web应用程序的搜索没有太大区别。当然,您的堆栈是不同的,但无论如何,原则都是一样的

正如有人对你的问题所评论的那样:可能是你想要的东西,可以轻松地并行化你的工作,等等。。如果这太有限,你可以调查一下。一个随时可用的hadoop发行版

如果map reduce不符合您的喜好,那么您需要设置自己的实例。大致来说,要点如下:

  • 您需要找到一种启动EC2实例的方法
  • 您需要找到一种引导和配置它们的方法
  • 集群/网络
  • 启动EC2实例 如果您不需要像自动缩放或自定义界面这样的东西,AWS控制台可以做得非常好。您必须选择适合您的项目的AMI(Amazon机器映像)。我可能会研究一下Linux或者基于Ubuntu的东西(如果我没记错的话,Ubuntu是EC2上使用最多的Linux)

    但这取决于你和你的喜好。(我对你的项目了解得还不够。)

    一旦你找到了适合你的设置,克隆你的工作最简单的方法就是设置你自己的AMI并用它启动实例,等等

    自举 引导可以使用EC2调用的
    用户脚本
    。它允许您将shell脚本传递给实例,实例将执行设置堆栈的调用等。。我不确定在这种情况下需要什么,等等。。因此,如果你评论或扩展你的答案,我可以在这里详细介绍

    群集/网络 这是一个疯狂的猜测,因为我不知道你的代码是做什么的,或者它是如何工作的,等等。。如果没有必要,我可能会首先使用一个实例来扩展它。使用EC2,您可以轻松地获得许多内核和RAM。根据您的工作是否需要更多RAM或CPU,请查看

    您可以从一个
    t1.micro
    开始,您现在可以从那里开始


    让我知道这是否有帮助

    谢谢你明确的回答。亚马逊标准的AMI会很好地为我做这项工作。我仍然需要理解引导的一些细节,但是你的回答是一个很大的帮助。