Apache spark 并非Spark独立群集中使用的所有节点
我制作了一个带有两个虚拟机的Spark独立群集。Apache spark 并非Spark独立群集中使用的所有节点,apache-spark,apache-spark-standalone,Apache Spark,Apache Spark Standalone,我制作了一个带有两个虚拟机的Spark独立群集。 在第一个VM(8核,64 GB内存)中,我使用以下命令手动启动主机 bin/spark class org.apache.spark.deploy.master.master 在第二个VM(8核,64 GB内存)中,我使用 bin/spark class org.apache.spark.deploy.worker.worker spark://:7077 然后在第一个VM中,我也使用上面的slave命令启动了slave。从下图中可以看出,工人和
在第一个VM(8核,64 GB内存)中,我使用以下命令手动启动主机
bin/spark class org.apache.spark.deploy.master.master
在第二个VM(8核,64 GB内存)中,我使用
bin/spark class org.apache.spark.deploy.worker.worker spark://:7077
然后在第一个VM中,我也使用上面的slave命令启动了slave。从下图中可以看出,工人和主人都已启动并处于活动状态 但是,当我运行Spark应用程序时,仅运行第二个VM中的工作进程(
worker-20160613102937-10.0.37.150-47668
)。第一个VM的工作进程(worker-20160613103042-10.0.37.142-52601
)未运行。见下图
我希望这两个工人应该在我的火花应用程序中使用。如何做到这一点
编辑:查看此执行者摘要图片,其中与VM 1st中的工作人员对应的执行者失败
当我单击任何stdout
或stderr
时,它会显示无效日志目录的错误。见下图
错误已解决。Spark无法在第一个VM上创建日志目录。提交Spark作业的用户没有在路径/usr/local/Spark
上创建文件的权限。只需更改目录的读/写权限(chmod-R 777/usr/local/spark
)就成功了。错误得到解决。Spark无法在第一个VM上创建日志目录。提交Spark作业的用户没有在路径/usr/local/Spark
上创建文件的权限。只需更改目录的读/写权限(chmod-R 777/usr/local/spark
)就可以解决问题。您确定正在处理的输入数据足够大,可以跨2个执行器拆分吗?您确定正在处理的输入数据足够大,可以跨2个执行器拆分吗?