Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/5.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181

Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/mercurial/2.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark 初始作业未接受任何资源;检查您的群集UI以确保工作人员已注册并且有足够的资源?_Apache Spark_Apache Spark Sql - Fatal编程技术网

Apache spark 初始作业未接受任何资源;检查您的群集UI以确保工作人员已注册并且有足够的资源?

Apache spark 初始作业未接受任何资源;检查您的群集UI以确保工作人员已注册并且有足够的资源?,apache-spark,apache-spark-sql,Apache Spark,Apache Spark Sql,我打包了一个Jar,并使用spark submit在spark中运行应用程序 但是我犯了以下错误。 初始作业未接受任何资源;检查您的群集UI以确保工作人员已注册并拥有足够的资源 我的cpu信息 $ free -m total used free shared buff/cache available Mem: 15886 12206 1984 16

我打包了一个Jar,并使用spark submit在spark中运行应用程序

但是我犯了以下错误。
初始作业未接受任何资源;检查您的群集UI以确保工作人员已注册并拥有足够的资源
我的cpu信息

$ free -m
              total        used        free      shared  buff/cache   available
Mem:          15886       12206        1984          16        1695        3251
Swap:          2047         216        1831
这是我的spark_env.sh:

export SPARK_EXECUTOR_INSTANCES=4
export SPARK_EXECUTOR_CORES=4
export SPARK_EXECUTOR_MEMORY=2G

export SPARK_UI_PORT=4040

export SPARK_MASTER_PORT=7077
export SPARK_MASTER_WEBUI_PORT=8099

export SPARK_WORKER_CORES=4
export SPARK_WORKER_INSTANCES=4
export SPARK_WORKER_MEMORY=2G

我的spark_env.sh有什么问题吗?

你的spark提交命令是什么?转到你的spark UI,看看哪个应用程序正在消耗所有资源!看看他们说的是同一件事的日志吧!:)是否使用多个节点?