Hadoop 在本地模式下限制Spark作业

是否有任何方法限制以spark部署模式作为本地模式执行spark submit的访问权限。如果我允许用户在本地模式下执行作业，我的纱线集群将无法充分利用

我已配置使用纱线作为群集管理器来调度spark作业。

---

我已经检查了spark配置，在那里我没有找到任何参数来只允许特定的部署模式。用户可以在向集群提交spark作业时覆盖默认部署模式。

您可以通过在

conf/spark defaults.conf

文件中将

spark.master

键设置为

warn

来激励和促进使用纱线。如果您的配置已准备好指向正确的主机，默认情况下，用户将在Thread上部署其作业

---

我不知道有什么方法可以完全禁止您的用户使用master，特别是当它在他们的控制下时（就像

local

）。如果您控制Spark安装，您可以做的是修改现有的

Spark shell

/

Spark submit

启动脚本，以检测用户是否试图显式使用

local

作为主机，并防止发生这种情况。或者，您也可以使用自己的脚本来检查和阻止任何

本地

会话被打开，然后正常运行

spark shell

/

spark submit

。

感谢您提供的信息。现在，我已经安排了一个脚本，每当任何spark进程使用local作为spark master时，它都会终止该进程。因此，spark中没有直接配置来限制特定的部署模式。我在集群中的spark-defaults.conf中设置spark.master=Thread。