Apache spark (Spark auto recovery)当从机启动时如何重新启动';提交的作业使它崩溃了?
我有个问题想寻求帮助。Apache spark (Spark auto recovery)当从机启动时如何重新启动';提交的作业使它崩溃了?,apache-spark,spark-streaming,Apache Spark,Spark Streaming,我有个问题想寻求帮助。 我的星火结构:1主,2从。 我有一个从主服务器到两个从服务器的流作业部署,然后一个执行器运行这个任务,另一个挂起 目标 由于我的工作经常遇到OOM问题,所以我希望我的奴隶接管执行这项工作 问题 当一个从机崩溃时,它的状态总是启动的,所以我必须重新运行/start slave.sh来恢复它,但我认为这不是解决它的明智方法,所以 我想在提交的作业崩溃时自动重新启动slave
我的星火结构:1主,2从。
我有一个从主服务器到两个从服务器的流作业部署,然后一个执行器运行这个任务,另一个挂起 目标 由于我的工作经常遇到OOM问题,所以我希望我的奴隶接管执行这项工作 问题 当一个从机崩溃时,它的状态总是启动的,所以我必须重新运行
/start slave.sh
来恢复它,但我认为这不是解决它的明智方法,所以
我想在提交的作业崩溃时自动重新启动slave