Apache spark Spark为什么工人会自动从我的主人那里开始
我有三台机器,一台是主机,还有两台是从机。主地址在spark/conf/masters中,两个从地址在spark/conf/slaves中 我运行Apache spark Spark为什么工人会自动从我的主人那里开始,apache-spark,Apache Spark,我有三台机器,一台是主机,还有两台是从机。主地址在spark/conf/masters中,两个从地址在spark/conf/slaves中 我运行startmasters.sh我的GUI没有工作人员-一切正常 然后我运行启动slaves.sh并在GUI中获得我的两个slave-一切正常 但是当我用--master指定主URL时spark://master这与masters文件中的地址相同,并且取自master的GUI,所有机器上都会启动一个worker 为什么??我不希望主机上有工作者,因为驱动
startmasters.sh
我的GUI没有工作人员-一切正常
然后我运行启动slaves.sh
并在GUI中获得我的两个slave-一切正常
但是当我用--master指定主URL时spark://master
这与masters文件中的地址相同,并且取自master的GUI,所有机器上都会启动一个worker
为什么??我不希望主机上有工作者,因为驱动程序占用了太多内存,无法与工作者/执行者共享机器。我做错了什么?我必须在主机上运行工人吗?我是否应该将主设备移动到其中一个从设备,并将当前主设备用作客户机来激发?只是好奇您是否尝试过使用ps和kill手动杀死工人?这不是一个优雅的解决方案,我想知道工人是否重新启动。我在看同样的问题,如果我找到一个好的答案,我会发布它。是的,它会重新启动。我将我的主机从驱动程序机器上移开,这样它将专用于运行驱动程序,这似乎是可行的。现在主人也是一名工人。运行主机大约需要1-1.5g,但比在一台使用2x8g或更多的机器上有一个工人和驱动程序要好。是的,这很奇怪,我在运行start-all.sh和start-slaves.sh时,在$SPARK_HOME/sbin中调用了各种脚本,我看不到它在任何地方尝试启动一个非该文件的从属文件。由于某种原因,必须在源代码中。。。几天后,我会在那里挖。