Amazon web services 具有重叠EC2实例的集群

我有以下具有重叠EC2实例的集群，例如：纱线集群和Memcached集群使用相同的实例2、3、4；此外，每个实例都有不同的RAM、CPU、内核大小，这会不会有潜在的问题？或者群集可以自行平衡？谢谢

火花簇：EC2实例2、3、5
纱线簇：EC2实例1、2、3、4、5
Memcached数据库集群：EC2实例2,3,4，6

instance 1: 512GB RAM, 2 vCPU,  2 cores  
instance 2: 1TB RAM,   8 vCPU,  4 cores    
instance 3: 2TB RAM,   6 vCPU,  6 cores    
instance 4: 256GB RAM, 2 vCPU,  2 cores  
instance 5: 2TB RAM,   16 vCPU, 4 cores    
instance 6: 4TB RAM,   4 vCPU,  8 cores 

---

集群不知道这种共享；您需要配置每个主机的资源分配，以避免过度承诺

如果对于任何节点，总资源分配使超过所有RAM/内核/磁盘可用，则您将面临风险（通常情况下，存在spark任务或子线程无法启动的风险）。例如，3您不能为每个服务分配1T

比如，在实例3中，您不能为每个服务分配1T

---

作为补充说明，Spark可以在纱线上运行，因此有一个选项可以将其减少为两个簇。

谢谢@patrungel，我可以了解最后一句的更多细节吗？你的意思是火花簇和纱线簇可以共享同一个簇机器吗？就像100%重叠一样？Spark可以作为一个Thread应用程序运行（也就是说，它可以将Thread用作其作业的资源管理器），因此我们不是在谈论重叠，而是在hadoop（mapred）和Spark作业中使用相同的集群。在这种情况下，mapred和spark作业受公共调度的约束，因此不需要处理两个不相关的集群。这是一个非常常见的设置，请参阅将spark添加到现有的纱线簇是一个相当简单的任务。