Apache spark DCOS群集扩展

我有一个带有3个代理节点的DCOS群集；我很少有像spark这样的服务在DCO上运行

如果我扩展DCOS群集，是否还需要扩展spark 因为如果我在DCOS集群中添加第四个节点，当我运行spark时 作业，主机可以为要在服务器上运行的spark作业分配资源 第四个节点，其中未安装spark，因此将出现故障？ 在我的观察中，我发现作业正在提交给Mesos master看到的任何节点

有没有一种方法可以指定Spark作业不在某些节点上运行？ 默认情况下不是这样，因此您必须缩放Spark。在本文中，我指的是增加更多的执行者。无需执行任何其他软件包安装来支持此功能。 动态分配可能会有所帮助，但我没有使用它：

你可以通过DCO控制工作在马拉松中的位置，但据我所知，不是Spark。我认为您将能够在底层Mesos配置中实现它，但不建议这样做。您可以在一个DCOS群集中创建多个Spark“群集”，并选择要提交到的Spark实例： 要安装DC/OS Spark软件包的多个实例，请设置每个实例 将service.name改为唯一名称，例如：JSON中的“spark dev” 安装期间的配置文件：

要使用DC/OS Spark CLI中的特定Spark实例，请执行以下操作：

$dcos配置集spark.app\u id

---

在1上，我希望DCO能够自动了解Spark的安装位置，并相应地分配资源。否则，如果我有500个节点的DCOS集群，我可能必须在每个节点上安装Spark，这是不好的。您认为服务发现在这种情况下会有所帮助吗？如果您使用的是DCOS，则不需要在每个节点上手动安装Spark，只需使用DCOS CLI安装一次Spark“package”，该CLI负责手动提升。如果我误导了你，我道歉。Spark发行版由docker映像处理。至少在默认的DCOS安装上是这样。如果我在DC/OS上安装Spark软件包，我发现它会根据所需的实例数安装在集群中的节点上。Spark不会安装在所有节点上，也就是说，如果集群中有100个节点，并且我只安装了5个实例的Spark，那么它最多只能安装在5台机器上。现在的问题是，当提交Spark作业时，Mesos会将资源分配给未安装Spark的节点。因此它失败了。我见过这种情况，我希望DC/OS只在安装Spark的节点上分配资源。想法？这不是我观察到的行为，似乎与我的DCO经验相反。AFAIK DCOS在提交作业时提取包含Spark发行版的docker映像，Spark永远不会像在单机版中那样安装在节点上。如何通过DCOS CLI或其他机制提交Spark作业？我是否在某些地方严重误解了这种情况？Spark作业是使用dcos Spark run命令运行的。Spark从未安装过？那么，当安装Spark软件包时，我在DC/OS UI、Marathon UI、Mesos UI上看到哪些正在运行的任务？我看到了每个UI，当我运行作业时，我看到驱动程序在一个代理节点上运行，作业的任务在其他节点上运行。由于没有提供向下投票的解释，我将向上投票返回到零。

{
  "service": {
    "name": "spark-dev"
  }
}