Apache spark 并非Spark独立群集中使用的所有节点

Apache spark 并非Spark独立群集中使用的所有节点,apache-spark,apache-spark-standalone,Apache Spark,Apache Spark Standalone,我制作了一个带有两个虚拟机的Spark独立群集。 在第一个VM(8核,64 GB内存)中,我使用以下命令手动启动主机 bin/spark class org.apache.spark.deploy.master.master 在第二个VM(8核,64 GB内存)中,我使用 bin/spark class org.apache.spark.deploy.worker.worker spark://:7077 然后在第一个VM中,我也使用上面的slave命令启动了slave。从下图中可以看出,工人和

我制作了一个带有两个虚拟机的Spark独立群集。
在第一个VM(8核,64 GB内存)中,我使用以下命令手动启动主机
bin/spark class org.apache.spark.deploy.master.master

在第二个VM(8核,64 GB内存)中,我使用
bin/spark class org.apache.spark.deploy.worker.worker spark://:7077

然后在第一个VM中,我也使用上面的slave命令启动了slave。从下图中可以看出,工人和主人都已启动并处于活动状态

但是,当我运行Spark应用程序时,仅运行第二个VM中的工作进程(
worker-20160613102937-10.0.37.150-47668
)。第一个VM的工作进程(
worker-20160613103042-10.0.37.142-52601
)未运行。见下图

我希望这两个工人应该在我的火花应用程序中使用。如何做到这一点

编辑:查看此执行者摘要图片,其中与VM 1st中的工作人员对应的执行者失败

当我单击任何
stdout
stderr
时,它会显示
无效日志目录的错误。见下图


错误已解决。Spark无法在第一个VM上创建日志目录。提交Spark作业的用户没有在路径
/usr/local/Spark
上创建文件的权限。只需更改目录的读/写权限(
chmod-R 777/usr/local/spark
)就成功了。

错误得到解决。Spark无法在第一个VM上创建日志目录。提交Spark作业的用户没有在路径
/usr/local/Spark
上创建文件的权限。只需更改目录的读/写权限(
chmod-R 777/usr/local/spark
)就可以解决问题。

您确定正在处理的输入数据足够大,可以跨2个执行器拆分吗?您确定正在处理的输入数据足够大,可以跨2个执行器拆分吗?