Hadoop Resource Manager跨异构系统处理大规模工作流
我正在寻找一个开源资源管理器，可以在分布式计算环境中管理大规模工作流。 我对TORQUE、SLURM、LOADLEVELER进行了调查，SLURM在处理大型节点（但在单个集群中）方面优于TORQUE。所有这些都用于批处理系统。 Condor用于网格环境，但提供粗粒度的分布式并行化。 我觉得Ganglia和Nagios在高性能计算环境中很好。但我想知道Ganglia和Nagios是否可以用于工作流？能否将我的调度算法嵌入到调度器中，并通过Hadoop MapReduce框架将其与资源管理器一起使用？？ 如果您的回复有帮助，我们将不胜感激。Hadoop Resource Manager跨异构系统处理大规模工作流,hadoop,mapreduce,nagios,Hadoop,Mapreduce,Nagios,我正在寻找一个开源资源管理器，可以在分布式计算环境中管理大规模工作流。 我对TORQUE、SLURM、LOADLEVELER进行了调查，SLURM在处理大型节点（但在单个集群中）方面优于TORQUE。所有这些都用于批处理系统。 Condor用于网格环境，但提供粗粒度的分布式并行化。 我觉得Ganglia和Nagios在高性能计算环境中很好。但我想知道Ganglia和Nagios是否可以用于工作流？能否将我的调度算法嵌入到调度器中，并通过Hadoop MapReduce框架将其与资源管理器一起使用
谢谢。Ganglia和Nagios是监视工具，它们不会给您资源管理。签出最新的Hadoop。它附带一个内部资源管理系统 新的ResourceManager管理compute的全局分配 应用程序的资源和每个应用程序的应用程序管理员 管理应用程序的计划和协调