Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/5.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark Spark为什么工人会自动从我的主人那里开始_Apache Spark - Fatal编程技术网

Apache spark Spark为什么工人会自动从我的主人那里开始

Apache spark Spark为什么工人会自动从我的主人那里开始,apache-spark,Apache Spark,我有三台机器,一台是主机,还有两台是从机。主地址在spark/conf/masters中,两个从地址在spark/conf/slaves中 我运行startmasters.sh我的GUI没有工作人员-一切正常 然后我运行启动slaves.sh并在GUI中获得我的两个slave-一切正常 但是当我用--master指定主URL时spark://master这与masters文件中的地址相同,并且取自master的GUI,所有机器上都会启动一个worker 为什么??我不希望主机上有工作者,因为驱动

我有三台机器,一台是主机,还有两台是从机。主地址在spark/conf/masters中,两个从地址在spark/conf/slaves中

我运行
startmasters.sh
我的GUI没有工作人员-一切正常 然后我运行
启动slaves.sh
并在GUI中获得我的两个slave-一切正常

但是当我用
--master指定主URL时spark://master
这与masters文件中的地址相同,并且取自master的GUI,所有机器上都会启动一个worker


为什么??我不希望主机上有工作者,因为驱动程序占用了太多内存,无法与工作者/执行者共享机器。我做错了什么?我必须在主机上运行工人吗?我是否应该将主设备移动到其中一个从设备,并将当前主设备用作客户机来激发?

只是好奇您是否尝试过使用ps和kill手动杀死工人?这不是一个优雅的解决方案,我想知道工人是否重新启动。我在看同样的问题,如果我找到一个好的答案,我会发布它。是的,它会重新启动。我将我的主机从驱动程序机器上移开,这样它将专用于运行驱动程序,这似乎是可行的。现在主人也是一名工人。运行主机大约需要1-1.5g,但比在一台使用2x8g或更多的机器上有一个工人和驱动程序要好。是的,这很奇怪,我在运行start-all.sh和start-slaves.sh时,在$SPARK_HOME/sbin中调用了各种脚本,我看不到它在任何地方尝试启动一个非该文件的从属文件。由于某种原因,必须在源代码中。。。几天后,我会在那里挖。