Apache spark 如何在EMR中向任务节点添加自定义节点标签

我只想在AWS EMR集群中的任务节点上运行spark executors，纱线标签是实现这一点的方法之一。我可以在spark提交期间指定标签。我想实现以下目标

在群集启动期间添加自定义标签

将此标签与自动缩放期间加入我的群集的任何节点相关联

---

我希望这样做，以便通过确保所有执行器都在现场实例上运行来降低集群的成本。

我们通过以下过程实现了这一点

在Maser节点引导期间，我们运行自定义脚本，在其中创建新的任务标签。EMR自动创建核心级别

在核心和任务节点引导期间，我们从元数据API中确定节点类型，并根据实例类型将适当的标签附加到机器上。如果是按需实例，则附加核心，否则将任务标签添加到节点

当我们提交spark作业时，我们将executor节点标签表达式称为TASK，这确保了只有TASK节点上的所有执行者才能使用它