Java 用马拉松跑Spark jobs

Java 用马拉松跑Spark jobs,java,apache-spark,mesos,marathon,Java,Apache Spark,Mesos,Marathon,我有一份马拉松式的工作,工作内容如下: ./bin/spark-class org.apache.spark.deploy.mesos.MesosClusterDispatcher 但是,接下来我希望现在能够使用以下命令将单个Spark作业作为单独的Marathon作业运行: ./bin/spark-submit .... 我的问题是: 我如何从Mesos执行器调用spark submit,因为它没有安装二进制文件? (注意:我知道也建议在所有Mesos从属设备上安装Spark,但这是唯一的

我有一份马拉松式的工作,工作内容如下:

./bin/spark-class org.apache.spark.deploy.mesos.MesosClusterDispatcher
但是,接下来我希望现在能够使用以下命令将单个Spark作业作为单独的Marathon作业运行:

./bin/spark-submit ....
我的问题是: 我如何从Mesos执行器调用spark submit,因为它没有安装二进制文件? (注意:我知道也建议在所有Mesos从属设备上安装Spark,但这是唯一的选择吗?)


非常感谢您的指导。

只需运行以下命令:

/opt/spark/spark-2.1.0-bin-hadoop2.7/bin/spark-submit --class org.apache.spark.examples.SparkPi --master mesos://127.0.0.1:31258 --deploy-mode cluster --supervise --executor-memory 2G --total-executor-cores 1 /opt/spark/spark-2.1.0-bin-hadoop2.7/examples/jars/spark-examples_2.11-2.1.0.jar 1000