Apache spark SPARK\u WORKER\u实例设置在SPARK独立窗口中不工作

Apache spark SPARK\u WORKER\u实例设置在SPARK独立窗口中不工作,apache-spark,Apache Spark,我正在尝试设置一个独立的Spark 2.0服务器来并行处理分析功能。为此,我想运行8个worker,每个worker有一个内核。然而,Spark Master/Worker UI似乎没有反映我的配置 我正在使用: 独立火花2.0 8芯24G RAM windows server 2008 皮斯帕克 spark-env.sh文件的配置如下: SPARK_WORKER_INSTANCES = 8 SPARK_WORKER_CORES = 1 SPARK_WORKER_MEMORY = 2g s

我正在尝试设置一个独立的Spark 2.0服务器来并行处理分析功能。为此,我想运行8个worker,每个worker有一个内核。然而,Spark Master/Worker UI似乎没有反映我的配置

我正在使用:

  • 独立火花2.0
  • 8芯24G RAM
  • windows server 2008
  • 皮斯帕克
spark-env.sh文件的配置如下:

SPARK_WORKER_INSTANCES = 8
SPARK_WORKER_CORES = 1
SPARK_WORKER_MEMORY = 2g
spark.cores.max = 8
spark-defaults.conf的配置如下:

SPARK_WORKER_INSTANCES = 8
SPARK_WORKER_CORES = 1
SPARK_WORKER_MEMORY = 2g
spark.cores.max = 8
我启动主机:

spark-class org.apache.spark.deploy.master.Master
我通过在批处理文件中运行此命令8次来启动工人:

spark-class org.apache.spark.deploy.worker.Worker spark://10.0.0.10:7077
问题是UI显示如下:


正如您所看到的,每个辅助进程都有8个核心,而不是我通过SPARK_worker_cores设置分配的1个核心。此外,内存反映的是整个机器内存,而不是分配给每个工人的2g。我如何配置Spark,使其在独立模式下以每个工作线程1个core/2g的速度运行

我修复了将核心和内存参数添加到工作进程本身的问题

start spark-class org.apache.spark.deploy.worker.Worker --cores 1 --memory 2g spark://10.0.0.10:7077