Apache spark Spark 1.5.0 Spark.app.id警告

Apache spark Spark 1.5.0 Spark.app.id警告,apache-spark,apache-spark-1.5,Apache Spark,Apache Spark 1.5,我已将CDH群集更新为使用spark 1.5.0。当我提交spark应用程序时,系统显示关于spark.app.id Using default name DAGScheduler for source because spark.app.id is not set. 我搜索了spark.app.id的。我读过这篇文章,我想它是用来调用RestAPI的 我在spark 1.4中未看到此警告。有人能给我解释一下并演示如何设置它吗?它不一定用于RESTAPI,而是用于监视目的。g当您想根据示例检查

我已将CDH群集更新为使用
spark 1.5.0
。当我提交spark应用程序时,系统显示关于
spark.app.id

Using default name DAGScheduler for source because spark.app.id is not set.
我搜索了spark.app.id的
。我读过这篇文章,我想它是用来调用RestAPI的


我在spark 1.4中未看到此警告。有人能给我解释一下并演示如何设置它吗?

它不一定用于RESTAPI,而是用于监视目的。g当您想根据示例检查纱线日志时:

yarn logs <spark.app.id>
纱线原木
确实,这个具体问题还没有记录在案。我认为添加它是为了在Hadoop生态系统中标准化应用程序部署

我建议您在应用程序中设置“spark.app.id”

conf.set("spark.app.id", <app-id>) // considering that you already have a SparkConf defined of course
conf.set(“spark.app.id)”//当然,考虑到您已经定义了一个SparkConf

然而,这仍然是一个警告,不会影响应用程序本身

它不一定用于RESTAPI,而是用于监视目的。g当您想根据示例检查纱线日志时:

yarn logs <spark.app.id>
纱线原木
确实,这个具体问题还没有记录在案。我认为添加它是为了在Hadoop生态系统中标准化应用程序部署

我建议您在应用程序中设置“spark.app.id”

conf.set("spark.app.id", <app-id>) // considering that you already have a SparkConf defined of course
conf.set(“spark.app.id)”//当然,考虑到您已经定义了一个SparkConf
然而,这仍然是一个警告,不会影响应用程序本身