Apache spark ApacheSpark:MesosClusterDispatcher能否在Docker容器中运行执行器？

我正在构建一个Mesos集群来运行apachespark。我更喜欢为我的Spark执行器使用Docker容器，我可以使用Spark submit的客户端模式（使用

--master）来实现这一点mesos://mesosmaster:5050

和

--conf spark.mesos.executor.docker.image=myimage:latest

），但我希望在集群模式下也能这样做

我运行了MesosClusterDispatcher，可以向它提交作业（使用

--master）mesos://clusterdispatcher:7077 --模式集群（modecluster--supervised

），但当我指定一个docker映像供执行器使用时，调度程序似乎忽略了该参数，并试图直接在Mesos沙箱中运行作业

实际上可以将集群调度程序与spark.mesos.executor.docker.image结合起来吗？我希望尽可能地将Spark与Mesos分离，以便它们可以独立升级，但显然，如果集群调度器不能使用docker映像，我将不得不重新考虑我的策略

谢谢

看看这个

它看起来应该可以工作，尽管我在部署到更大的集群时遇到了问题。

请查看此内容

它看起来应该可以工作，尽管我在部署到更大的集群时遇到了问题