Spark作为Linux服务
我的任务是将spark部署到生产环境中。我通常用Ansible管理一切。我已经打包了zookeeper和kafka,并可以将它们部署为linux服务,但Spark有问题 它似乎不是作为服务启动/停止的(参考init.d服务)。是否有人在集群模式下运行spark,您是否通过init.d脚本将其设置为启动/停止?或者,关于如何建立这一机制的普遍共识是什么 这是我以前尝试过的: spark init.d服务:Spark作为Linux服务,linux,apache-spark,init.d,Linux,Apache Spark,Init.d,我的任务是将spark部署到生产环境中。我通常用Ansible管理一切。我已经打包了zookeeper和kafka,并可以将它们部署为linux服务,但Spark有问题 它似乎不是作为服务启动/停止的(参考init.d服务)。是否有人在集群模式下运行spark,您是否通过init.d脚本将其设置为启动/停止?或者,关于如何建立这一机制的普遍共识是什么 这是我以前尝试过的: spark init.d服务: #!/bin/bash SPARK_BASE_DIR=/opt/spark-2.0.0-b
#!/bin/bash
SPARK_BASE_DIR=/opt/spark-2.0.0-bin-hadoop2.7
SPARK_SBIN=$SPARK_BASE_DIR/sbin
PID=''
if [ -f $SPARK_BASE_DIR/conf/spark-env.sh ];then
source $SPARK_BASE_DIR/conf/spark-env.sh
else
echo "$SPARK_BASE_DIR/conf/spark-env.sh does not exist. Can't run script."
exit 1
fi
check_status() {
PID=$(ps ax | grep 'org.apache.spark.deploy.master.Master' | grep java | grep -v grep | awk '{print $1}')
if [ -n "$PID" ]
then
return 1
else
return 0
fi
}
start() {
check_status
if [ "$?" -ne 0 ]
then
echo "Master already running"
exit 1
fi
echo -n "Starting master and workers ... "
su user -c "$SPARK_SBIN/start-all.sh" spark &>/dev/null
sleep 5
check_status
if [ "$?" -eq 0 ]
then
echo "FAILURE"
exit 1
fi
echo "SUCCESS"
exit 0
}
stop() {
check_status
if [ "$?" -eq 0 ]
then
echo "No master running ..."
return 1
else
echo "Stopping master and workers ..."
su user -c "$SPARK_SBIN/stop-all.sh" spark &>/dev/null
sleep 4
echo "done"
return 0
fi
}
status() {
check_status
if [ "$?" -eq 0 ]
then
echo "No master running"
exit 1
else
echo -n "master running: "
echo $PID
exit 0
fi
}
case "$1" in
start)
start
;;
stop)
stop
;;
restart)
stop
start
;;
status)
status
;;
*)
echo "Usage: $0 {start|stop|restart|status}"
exit 1
esac
exit 0
我正在从主节点运行服务以启动所有集群节点
有关我的环境的一些信息:
- Ubuntu 16.04
- 使用hadoop 2.7的spark 2.0.0
- 我解决了它。问题来自我的责任。我没有设置日志文件夹所有者的组。现在它工作得很好