与Hadoop共享集群
是否可以将Hadoop设置为与集群上的其他应用程序配合良好 我熟悉Torque+Maui资源调度器，以及使用HadoopOnDemand提供临时Hadoop集群。但是，如果很多人想使用Hadoop，这会变得相当麻烦：每个人都有相同的头痛问题：设置和拆除自己的迷你Hadoop集群，在自己的HDF上复制数据，等等 如果我们能有一个人们共享的Hadoop的永久实例，并且有一个始终处于运行状态的HDFS，那就更酷了。这需要Hadoop智能地将工作分配给不忙于其他应用程序（比如R）的节点，并且在排队作业时不会贪婪与Hadoop共享集群,hadoop,cluster-computing,torque,Hadoop,Cluster Computing,Torque,是否可以将Hadoop设置为与集群上的其他应用程序配合良好 我熟悉Torque+Maui资源调度器，以及使用HadoopOnDemand提供临时Hadoop集群。但是，如果很多人想使用Hadoop，这会变得相当麻烦：每个人都有相同的头痛问题：设置和拆除自己的迷你Hadoop集群，在自己的HDF上复制数据，等等 如果我们能有一个人们共享的Hadoop的永久实例，并且有一个始终处于运行状态的HDFS，那就更酷了。这需要Hadoop智能地将工作分配给不忙于其他应用程序（比如R）的节点，并且在排队作业时
这可能吗？公平调度程序不就是这么做的吗
我们使用它来运行一个拥有30个用户的永久hadoop集群。您可以让它抢占任务以重新分配到新的池，也可以为每个池设置单独的优先级。不幸的是，我认为这是Hadoop在功能上真正缺乏的地方。不完全是。如果集群仅运行Hadoop，这是可行的，但是如果人们还想将其用于其他应用程序呢？