Apache spark 火花Mesos调度员_Apache Spark_Mesos

Apache spark 火花Mesos调度员

apache-spark

Apache spark 火花Mesos调度员,apache-spark,mesos,Apache Spark,Mesos,我的团队正在亚马逊云上部署一个新的大数据架构。我们已经启动Mesos并运行Spark jobs 我们正在从同一集群内的bastion主机提交Spark作业（即：JAR）。但是，这样做时，bastion主机是驱动程序，这称为（如果我理解正确的话）我们想尝试，但不知道从何处开始dispatcher进程文档中说要在集群中启动它，但我很困惑，因为我们的主机没有安装Spark，我们使用Zookeeper进行主机选举。在从属节点上启动它不是一个可用的选项，因为从属节点可能会失败，并且我们不希望向bast

我的团队正在亚马逊云上部署一个新的大数据架构。我们已经启动Mesos并运行Spark jobs

我们正在从同一集群内的bastion主机提交Spark作业（即：JAR）。但是，这样做时，bastion主机是驱动程序，这称为（如果我理解正确的话）

我们想尝试，但不知道从何处开始dispatcher进程

文档中说要在集群中启动它，但我很困惑，因为我们的主机没有安装Spark，我们使用Zookeeper进行主机选举。在从属节点上启动它不是一个可用的选项，因为从属节点可能会失败，并且我们不希望向bastion主机公开从属ip或公共DNS

在bastion主机上启动dispatcher是否正确

非常感谢

我还没有在Mesos中使用集群模式，而且还不是很详细。脚本上甚至没有一个

--help

选项，就像应该有的一样，IMHO。但是，如果不传递

--master

参数，则会出现错误，并显示一条帮助消息，结果是有一个

--zk

选项用于指定Zookeeper URL

使用适当的

--master

和

--zk

选项在堡垒上启动此脚本可能有效。这对你有用吗？

我还没有在Mesos中使用集群模式，而且还不是很详细。脚本上甚至没有一个

--help

选项，就像应该有的一样，IMHO。但是，如果不传递

--master

参数，则会出现错误，并显示一条帮助消息，结果是有一个

--zk

选项用于指定Zookeeper URL

使用适当的

--master

和

--zk

选项在堡垒上启动此脚本可能有效。这对你有用吗？

文档不是很详细。然而，我们对我们的发现感到非常高兴：根据，Mesos集群（以及Python应用程序）不支持集群模式

但是，我们使用

--master启动了dispatchermesos://zk://...

要提交申请，您需要以下内容：

spark-submit --deploy-mode cluster <other options> --master mesos://<dispatcher_ip>:7077 <ClassName> <jar>

spark提交--部署模式集群--主mesos://:7077

如果您在bastion机器上运行此命令，它将不起作用，因为Mesos主机将在bastion所在的路径中查找可提交的jar。我们最终将该文件公开为可下载的URL

希望这有帮助