Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark (Spark auto recovery)当从机启动时如何重新启动';提交的作业使它崩溃了?_Apache Spark_Spark Streaming - Fatal编程技术网

Apache spark (Spark auto recovery)当从机启动时如何重新启动';提交的作业使它崩溃了?

Apache spark (Spark auto recovery)当从机启动时如何重新启动';提交的作业使它崩溃了?,apache-spark,spark-streaming,Apache Spark,Spark Streaming,我有个问题想寻求帮助。 我的星火结构:1主,2从。 我有一个从主服务器到两个从服务器的流作业部署,然后一个执行器运行这个任务,另一个挂起 目标 由于我的工作经常遇到OOM问题,所以我希望我的奴隶接管执行这项工作 问题 当一个从机崩溃时,它的状态总是启动的,所以我必须重新运行/start slave.sh来恢复它,但我认为这不是解决它的明智方法,所以 我想在提交的作业崩溃时自动重新启动slave

我有个问题想寻求帮助。

我的星火结构:1主,2从。
我有一个从主服务器到两个从服务器的流作业部署,然后一个执行器运行这个任务,另一个挂起

目标 由于我的工作经常遇到OOM问题,所以我希望我的奴隶接管执行这项工作

问题 当一个从机崩溃时,它的状态总是启动的,所以我必须重新运行
/start slave.sh
来恢复它,但我认为这不是解决它的明智方法,所以

我想在提交的作业崩溃时自动重新启动slave