Apache spark 为什么conf.set（“spark.app.name”，appName）不在UI中设置名称？

我打电话来

val-appName:String=arguments.getNameFromConfig
val conf=new SparkConf（）
conf.set（“spark.driver.maxResultSize”，“30G”）
conf.set（“spark.app.name”，appName）
println（“Master:+arguments.getMaster）
conf.setMaster（arguments.getMaster）
val sc=新的SparkContext（配置）

以便更容易地在UI中识别我的作业。但是，它在计划程序中不使用此名称。相反，它使用到主类的路径

Word2VecOnCluster

：

名称仅出现在标题中：

我的一位同事实际上也在做同样的事情，而且效果很好。您在这里看不到的是，我的任务的名称稍大一些：

W2V_rtype-yelp_w2vpart-1_vsize-100_lr-0.025_dskeep-5.0perc_vocabsize-100000_epochs-1_iter-1

---

那么名字的长度是否有限制呢？如果是这样的话，那么它可能应该被添加到-或者它会这样做有任何其他原因吗？

当以集群模式提交应用程序时，将不会拾取sparkConf中设置的名称，因为此时应用程序已经启动。您可以将--name{appName}传递给spark submit命令，以在纱线资源管理器中显示该名称。

请勿使用

conf.set("spark.app.name", appName)

但请尝试下面的代码：

spark.sparkContext.appName = appName

---

因为它在spark ui中设置名称，而不是纱线。@eliasah，好吗？很抱歉，我对这一点比较陌生-在“所有应用程序”视图中设置名称需要做什么？这是否可以通过编程实现？两个问题：您使用的是纱线客户端模式还是纱线集群模式？您是否在启动SparkContext后在配置中设置了应用程序名称？@TzachZohar

--部署模式是
集群
，不，我是在创建
SparkContext
之前设置配置的。您好@Dinesh，很好奇，您如何判断它是“集群”模式，而不是“客户端模式”？我很难从上面的问题中分辨出差异，我相信差异很重要，因为存在很多配置差异。谢谢如果该模式未随spark submit命令一起传递，则它将拾取spark配置文件中设置的默认值。如果您在spark submit中指定--name属性，那么在群集或客户机模式下将获取该属性，那么配置没有太大差异。如果您选择添加解释的答案，这将使它对其他人更有价值。