Apache spark java.lang.NumberFormatException:对于输入字符串:";spark.Location.wait“;

Apache spark java.lang.NumberFormatException:对于输入字符串:";spark.Location.wait“;,apache-spark,yarn,cloudera-cdh,Apache Spark,Yarn,Cloudera Cdh,我们有一个CDH5.4.2纱线簇,提交一个非常简单的示例spark作业时会出现以下异常: 15/07/02 17:21:06 ERROR scheduler.DAGSchedulerEventProcessLoop: DAGSchedulerEventProcessLoop failed; shutting down SparkContext java.lang.NumberFormatException: For input string: "spark.locality.wait"

我们有一个CDH5.4.2纱线簇,提交一个非常简单的示例spark作业时会出现以下异常:

15/07/02 17:21:06 ERROR scheduler.DAGSchedulerEventProcessLoop: DAGSchedulerEventProcessLoop failed; shutting down SparkContext
java.lang.NumberFormatException: For input string: "spark.locality.wait"
    at     java.lang.NumberFormatException.forInputString(NumberFormatException.java:65)
    at java.lang.Long.parseLong(Long.java:441)
    at java.lang.Long.parseLong(Long.java:483)
    at scala.collection.immutable.StringLike$class.toLong(StringLike.scala:230)
    at scala.collection.immutable.StringOps.toLong(StringOps.scala:31)
    at org.apache.spark.scheduler.TaskSetManager.org$apache$spark$scheduler$TaskSetManager$$getLocalityWait(TaskSetManager.scala:853)
    at org.apache.spark.scheduler.TaskSetManager.computeValidLocalityLevels(TaskSetManager.scala:872)
查看日志,我可以看到属性中设置的值

spark.localExecution.enabled=false
spark.locality.wait=3000
spark.locality.wait.node=spark.locality.wait
spark.locality.wait.process=spark.locality.wait
spark.locality.wait.rack=spark.locality.wait
所以,locality的值看起来像是一个有效的long,而这在我的代码中似乎没有发生,所以有人能给我指出正确的方向吗

这会使spark executor处于运行状态,并且永远不会出现。它还杀死http应用程序监视器

提前谢谢你

使用

spark.localExecution.enabled=false
spark.locality.wait=3000
spark.locality.wait.node=3000
spark.locality.wait.process=3000
spark.locality.wait.rack=3000
使用

可能的重复可能的重复