Warning: file_get_contents(/data/phpspider/zhask/data//catemap/7/neo4j/3.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark 在Mesos群集上运行多个Spark作业_Apache Spark_Mesos - Fatal编程技术网

Apache spark 在Mesos群集上运行多个Spark作业

Apache spark 在Mesos群集上运行多个Spark作业,apache-spark,mesos,Apache Spark,Mesos,我想在我的Mesos集群上运行多个spark作业,并让所有spark作业共享相同的spark框架。这可能吗? 我已经尝试运行MesosClusterDispatcher并将spark作业连接到dispatcher,但是每个spark作业都会启动自己的“spark框架”(我已经尝试运行客户端模式和集群模式)。 这是预期的行为吗? 是否可以在多个spark作业之间共享相同的spark框架 这是正常的,也是预期的行为 据我所知,在Mesos中,SparkDispatcher负责为Spark驱动程序分配

我想在我的Mesos集群上运行多个spark作业,并让所有spark作业共享相同的spark框架。这可能吗? 我已经尝试运行MesosClusterDispatcher并将spark作业连接到dispatcher,但是每个spark作业都会启动自己的“spark框架”(我已经尝试运行客户端模式和集群模式)。 这是预期的行为吗?
是否可以在多个spark作业之间共享相同的spark框架

这是正常的,也是预期的行为


据我所知,在Mesos中,SparkDispatcher负责为Spark驱动程序分配资源,该驱动程序将作为一个框架。一旦分配了Spark驱动程序,它负责与Mesos对话,并接受分配任务执行者的提议

这是正常的,也是预期的行为


据我所知,在Mesos中,SparkDispatcher负责为Spark驱动程序分配资源,该驱动程序将作为一个框架。一旦分配了Spark驱动程序,它负责与Mesos对话,并接受分配任务执行者的提议

在“客户端模式”下运行时,没有SparkDispatcher,驱动程序直接与Mesos交互。那么,为什么在群集模式下需要调度程序?建议您看看@MichaelHausenblas我熟悉文档,但这如何回答我的问题>您指的是调度程序写入Zookeeper的“恢复状态”吗?您问:为什么在群集模式下需要调度程序?文档(你说你熟悉)解释说,在集群模式部分,没有?在“客户端模式”下运行时,没有SparkDispatcher,驱动程序直接与Mesos交互。那么,为什么在群集模式下需要调度程序?建议您看看@MichaelHausenblas我熟悉文档,但这如何回答我的问题>您指的是调度程序写入Zookeeper的“恢复状态”吗?您问:为什么在群集模式下需要调度程序?而文档(你说你很熟悉)在集群模式部分解释说,不是吗?