Hadoop容量调度器和Spark

如果我像这里解释的那样在纱线中定义CapacityScheduler队列

我如何让spark使用这个

我想经营spark jobs。。。但它们不应该占用所有集群，而是在一个CapacityScheduler上执行，该调度器具有一组固定的资源分配给它

有没有可能。。。特别是在cloudera平台上（假设cloudera上的spark运行在Thread上？）

您应该通过编辑capacity-scheduler.xml根据需要配置capacity-scheduler。您还需要将Thread-site.xml中的Thread.resourcemanager.scheduler.class指定为org.apache.hadoop.Thread.server.resourcemanager.scheduler.capacity.CapacityScheduler，这也是当前hadoop版本的默认选项

将spark作业提交到设计的队列

例如：

--queue

表示您将提交的队列，该队列应符合您的CapacityScheduler配置

您应该通过编辑capacity-scheduler.xml根据需要配置capacity-scheduler。您还需要将Thread-site.xml中的Thread.resourcemanager.scheduler.class指定为org.apache.hadoop.Thread.server.resourcemanager.scheduler.capacity.CapacityScheduler，这也是当前hadoop版本的默认选项

将spark作业提交到设计的队列

例如：

--queue

表示您将提交的队列，该队列应符合您的CapacityScheduler配置

$ ./bin/spark-submit --class org.apache.spark.examples.SparkPi \
    --master yarn \
    --deploy-mode cluster \
    --driver-memory 4g \
    --executor-memory 2g \
    --executor-cores 1 \
    --queue thequeue \
    lib/spark-examples*.jar \
    10