Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/5.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark 向Spark单机版CDH5.3添加工作程序_Apache Spark_Cloudera_Cloudera Cdh_Cloudera Quickstart Vm - Fatal编程技术网

Apache spark 向Spark单机版CDH5.3添加工作程序

Apache spark 向Spark单机版CDH5.3添加工作程序,apache-spark,cloudera,cloudera-cdh,cloudera-quickstart-vm,Apache Spark,Cloudera,Cloudera Cdh,Cloudera Quickstart Vm,我在虚拟机上运行了cloudera cdh5.3快速启动。我在运行Spark时遇到问题。我已经走过了这些步骤。。。。运行单词exapmle,它就成功了。但是当我去主服务器(quickstart.cloudera:18080)时,它没有工作线程,内核=0,内存=0。。。当我转到(quickstart.cloudera:18081)时,有一个工人。我的问题是如何增加工人?我应该在export STANDALONE\u SPARK\u MASTER\u HOST中输入什么 这是spark-env.sh

我在虚拟机上运行了cloudera cdh5.3快速启动。我在运行Spark时遇到问题。我已经走过了这些步骤。。。。运行单词exapmle,它就成功了。但是当我去主服务器(quickstart.cloudera:18080)时,它没有工作线程,内核=0,内存=0。。。当我转到(quickstart.cloudera:18081)时,有一个工人。我的问题是如何增加工人?我应该在export STANDALONE\u SPARK\u MASTER\u HOST中输入什么

这是spark-env.sh:

#Change the following to specify a real cluster's Master host
export STANDALONE_SPARK_MASTER_HOST=worker-20150402201049-10.0.2.15-7078
export SPARK_MASTER_IP=$STANDALONE_SPARK_MASTER_HOST
### Let's run everything with JVM runtime, instead of Scala
export SPARK_LAUNCH_WITH_SCALA=0
export SPARK_LIBRARY_PATH=${SPARK_HOME}/lib
export SCALA_LIBRARY_PATH=${SPARK_HOME}/lib
export SPARK_MASTER_WEBUI_PORT=18080
export SPARK_MASTER_PORT=7077
export SPARK_WORKER_PORT=7078
export SPARK_WORKER_WEBUI_PORT=18081
export SPARK_WORKER_DIR=/var/run/spark/work
export SPARK_LOG_DIR=/var/log/spark
export SPARK_PID_DIR='/var/run/spark/'
if [ -n "$HADOOP_HOME" ]; then
export LD_LIBRARY_PATH=:/lib/native
fi
export HADOOP_CONF_DIR=${HADOOP_CONF_DIR:-etc/hadoop/conf}
### Comment above 2 lines and uncomment the following if
### you want to run with scala version, that is included with the package
#export SCALA_HOME=${SCALA_HOME:-/usr/lib/spark/scala}
#export PATH=$PATH:$SCALA_HOME/bin

谢谢

添加
导出独立的SPARK\u MASTER\u HOST=10.0.2.15
到您的
SPARK env.sh
,以便主服务器和辅助服务器都同意相同的主机地址。

辅助服务器-20150402201049-10.0.2.15-7078
真的是主服务器的主机名吗?听起来像工人的名字。主机名是:quickstart.cloudera,这是工人的名字。我也尝试了quickstart.cloudera作为Masters名称,但效果不太好。是的,我试过将spark://10.0.2.15:7077 和spark://10.0.2.15:18080 但我仍然得到:URL:spark://10.0.2.15:7077 工作线程:0个内核:总计0个,0个已用内存:总计0.0B,0.0B已用应用程序:0个正在运行,0个已完成的驱动程序:0个正在运行,0已完成状态:ALIVEThis是位于的Spark Masterspark://10.0.2.15:7077 而工人的spark://10.0.2.15:7078I 我以前没试过,而且很管用。非常感谢马吕斯