Apache spark 在Mesos群集上运行多个Spark作业
我想在我的Mesos集群上运行多个spark作业,并让所有spark作业共享相同的spark框架。这可能吗? 我已经尝试运行MesosClusterDispatcher并将spark作业连接到dispatcher,但是每个spark作业都会启动自己的“spark框架”(我已经尝试运行客户端模式和集群模式)。 这是预期的行为吗?Apache spark 在Mesos群集上运行多个Spark作业,apache-spark,mesos,Apache Spark,Mesos,我想在我的Mesos集群上运行多个spark作业,并让所有spark作业共享相同的spark框架。这可能吗? 我已经尝试运行MesosClusterDispatcher并将spark作业连接到dispatcher,但是每个spark作业都会启动自己的“spark框架”(我已经尝试运行客户端模式和集群模式)。 这是预期的行为吗? 是否可以在多个spark作业之间共享相同的spark框架 这是正常的,也是预期的行为 据我所知,在Mesos中,SparkDispatcher负责为Spark驱动程序分配
是否可以在多个spark作业之间共享相同的spark框架 这是正常的,也是预期的行为
据我所知,在Mesos中,SparkDispatcher负责为Spark驱动程序分配资源,该驱动程序将作为一个框架。一旦分配了Spark驱动程序,它负责与Mesos对话,并接受分配任务执行者的提议 这是正常的,也是预期的行为
据我所知,在Mesos中,SparkDispatcher负责为Spark驱动程序分配资源,该驱动程序将作为一个框架。一旦分配了Spark驱动程序,它负责与Mesos对话,并接受分配任务执行者的提议 在“客户端模式”下运行时,没有SparkDispatcher,驱动程序直接与Mesos交互。那么,为什么在群集模式下需要调度程序?建议您看看@MichaelHausenblas我熟悉文档,但这如何回答我的问题>您指的是调度程序写入Zookeeper的“恢复状态”吗?您问:为什么在群集模式下需要调度程序?文档(你说你熟悉)解释说,在集群模式部分,没有?在“客户端模式”下运行时,没有SparkDispatcher,驱动程序直接与Mesos交互。那么,为什么在群集模式下需要调度程序?建议您看看@MichaelHausenblas我熟悉文档,但这如何回答我的问题>您指的是调度程序写入Zookeeper的“恢复状态”吗?您问:为什么在群集模式下需要调度程序?而文档(你说你很熟悉)在集群模式部分解释说,不是吗?