Apache spark Spark-限制每个工作人员执行一项任务_Apache Spark

Apache spark Spark-限制每个工作人员执行一项任务

apache-spark

Apache spark Spark-限制每个工作人员执行一项任务,apache-spark,Apache Spark,有没有一种方法可以限制Spark使用Spark的独立群集管理器在每个工作进程上只启动一个任务？我想运行一个作业，它可以访问外部资源，并有一种方法来限制它的速率想知道您为什么要这样做吗？我想从作业中访问外部资源，并希望能够对该资源的访问进行分级哪个群集管理器？在1.5版本之前，每个工作节点只有一个执行器。看看：。将SPARK-env.sh中的SPARK_WORKER_实例在WORKER节点中设置为1。@JustinPihony SPARK的独立群集管理器

有没有一种方法可以限制Spark使用Spark的独立群集管理器在每个工作进程上只启动一个任务？我想运行一个作业，它可以访问外部资源，并有一种方法来限制它的速率

想知道您为什么要这样做吗？我想从作业中访问外部资源，并希望能够对该资源的访问进行分级哪个群集管理器？在1.5版本之前，每个工作节点只有一个执行器。看看：。将SPARK-env.sh中的SPARK_WORKER_实例在WORKER节点中设置为1。@JustinPihony SPARK的独立群集管理器