Amazon web services 介观动力学团簇大小

Amazon web services 介观动力学团簇大小,amazon-web-services,amazon-ec2,mesos,autoscaling,Amazon Web Services,Amazon Ec2,Mesos,Autoscaling,在Mesos中,是否可以设置动态集群大小(总集群CPU和RAM配额) Mesos知道我的AWS凭据,并且只有在存在无法容纳现有资源的新作业时才会生成新的ec2实例。(AWS或其他云提供商)。与此类似-当作业完成时,它可能会杀死ec2实例 它可以是Mesos插件/框架或一些外部工具-欢迎任何帮助 谢谢如果我理解正确,您正在寻找自动缩放Mesos群集的解决方案 例如,有些人将在AWS上做的是创建一个允许他们根据自己的需要放大和缩小代理/从节点数量的模型。 请注意,何时放大/缩小的触发器通常取决于应用

在Mesos中,是否可以设置动态集群大小(总集群CPU和RAM配额)

Mesos知道我的AWS凭据,并且只有在存在无法容纳现有资源的新作业时才会生成新的ec2实例。(AWS或其他云提供商)。与此类似-当作业完成时,它可能会杀死ec2实例

它可以是Mesos插件/框架或一些外部工具-欢迎任何帮助


谢谢

如果我理解正确,您正在寻找自动缩放Mesos群集的解决方案

例如,有些人将在AWS上做的是创建一个允许他们根据自己的需要放大和缩小代理/从节点数量的模型。 请注意,何时放大/缩小的触发器通常取决于应用程序(例如,一个应用程序的利用率为100%,而其他应用程序的利用率为80%,则可以触发放大操作)


关于使用AWS自动缩放组的示例,您可以看一下(注意,如上所述,您仍然需要编写用于缩放组的触发代码)

我们正在做的是使用Mesos监控工具和HTTP endpoints@来监控集群

我们有自己的框架,从主节点和从节点获取所有相关信息,我们的算法使用这些信息来扩展集群


例如,如果集群CPU利用率>0.90,我们将启动一个新实例,并将该从实例注册到主实例。

AFAIK,Mesos无法自动调整自身大小;需要有人为集群启动Mesos代理。一个选项是构建脚本并由Marathon管理,该脚本是在比较框架和Mesos集群中的挂起任务后启动/停止代理。

这部分回答了我的问题,我只是希望自动缩放触发器位于不同的位置。不是为现有作业扩展集群,而是为新作业扩展集群。因此,场景如下:我创建了一个需要10个CPU的作业,Mesos只有5个可用,但Mesos知道它仍然可以创建10个EC2实例,所以它创建了一个有8个CPU的实例,并将其中一些分配给我的任务。你可以做的是编写一个应用程序来检查集群利用率(Mesos指标)和新部署(Marathon API)在上述场景中,缩放ec2自动缩放组(ec2 API)。。有关自动校准应用程序的示例,请参见。。。。