Apache spark 通过Monit运行Mesos
我正在尝试使用monit运行Mesos(没有zookeeper)以保持奴隶运行 我使用以下脚本启动和停止mesos从属设备: start-slave.sh: 当我通过ssh启动脚本时,它们工作得非常好。然而,当我通过monit使用它们时,如下面的从属寄存器所示(我可以在联机界面上看到它们),但是当我尝试使用spark运行计算时,它失败了,因为大多数任务都丢失了 监视器设置: 日志exerp:Apache spark 通过Monit运行Mesos,apache-spark,monit,mesos,Apache Spark,Monit,Mesos,我正在尝试使用monit运行Mesos(没有zookeeper)以保持奴隶运行 我使用以下脚本启动和停止mesos从属设备: start-slave.sh: 当我通过ssh启动脚本时,它们工作得非常好。然而,当我通过monit使用它们时,如下面的从属寄存器所示(我可以在联机界面上看到它们),但是当我尝试使用spark运行计算时,它失败了,因为大多数任务都丢失了 监视器设置: 日志exerp: 我是否正确使用了Monit?这似乎更适合处理服务器故障。当您“尝试使用spark运行计算”时,spark
我是否正确使用了
Monit
?这似乎更适合处理服务器故障。当您“尝试使用spark运行计算”时,spark如何准确调用这些脚本?
#!/bin/bash
nohup /home/someuser/mesos/build/bin/mesos-slave.sh
--master=192.168.0.241:5050
--strict=false
--log_dir=/home/someuser/mesos/logs < /dev/null &
sleep 1
pidof lt-mesos-slave > /home/someuser/run/mesos-slave.pid
#!/bin/bash
cat /home/someuser/run/mesos-slave.pid | xargs kill -9
check process mesos-slave with pidfile /home/someuser/run/mesos-slave.pid
start program = "/home/someuser/run/start-mesos.sh"
as uid someuser
stop program = "/home/someuser/run/stop-mesos.sh"
as uid someuser
if failed port 5051 then restart
I0925 14:06:21.461169 10633 slave.cpp:2413] Executor '20140924-160043-4043352256-5050-7966-0' of framework 20140925-140255-4043352256-5050-11608-0000 has terminated with signal Killed
E0925 14:06:21.461323 10639 slave.cpp:2686] Failed to unmonitor container for executor 20140924-160043-4043352256-5050-7966-0 of framework 20140925-140255-4043352256-5050-11608-0000: Not monitored
I0925 14:06:21.462224 10633 slave.cpp:2018] Handling status update TASK_LOST (UUID: 8258a34e-7831-4e5d-ba55-6df2b905b5ba) for task 0 of framework 20140925-140255-4043352256-5050-11608-0000 from @0.0.0.0:0