Scala 错误SparkContext:初始化SparkContext时出错

我使用的是spark-1.5.0-cdh5.6.0。尝试了示例应用程序（scala） 命令是：

> spark-submit --class com.cloudera.spark.simbox.sparksimbox.WordCount --master local /home/hadoop/work/testspark.jar

获取了以下错误：

 ERROR SparkContext: Error initializing SparkContext.
java.io.FileNotFoundException: File file:/user/spark/applicationHistory does not exist
        at org.apache.hadoop.fs.RawLocalFileSystem.deprecatedGetFileStatus(RawLocalFileSystem.java:534)
        at org.apache.hadoop.fs.RawLocalFileSystem.getFileLinkStatusInternal(RawLocalFileSystem.java:747)
        at org.apache.hadoop.fs.RawLocalFileSystem.getFileStatus(RawLocalFileSystem.java:524)
        at org.apache.hadoop.fs.FilterFileSystem.getFileStatus(FilterFileSystem.java:424)
        at org.apache.spark.scheduler.EventLoggingListener.start(EventLoggingListener.scala:100)
        at org.apache.spark.SparkContext.<init>(SparkContext.scala:541)
        at com.cloudera.spark.simbox.sparksimbox.WordCount$.main(WordCount.scala:12)
        at com.cloudera.spark.simbox.sparksimbox.WordCount.main(WordCount.scala)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
        at java.lang.reflect.Method.invoke(Method.java:606)
        at org.apache.spark.deploy.SparkSubmit$.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:672)
        at org.apache.spark.deploy.SparkSubmit$.doRunMain$1(SparkSubmit.scala:180)
        at org.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:205)
        at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:120)
        at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)

错误SparkContext:初始化SparkContext时出错。
java.io.FileNotFoundException:文件文件：/user/spark/applicationHistory不存在
位于org.apache.hadoop.fs.RawLocalFileSystem.deprecatedGetFileStatus（RawLocalFileSystem.java:534）
位于org.apache.hadoop.fs.RawLocalFileSystem.getFileLinkStatusInternal（RawLocalFileSystem.java:747）
位于org.apache.hadoop.fs.RawLocalFileSystem.getFileStatus（RawLocalFileSystem.java:524）
位于org.apache.hadoop.fs.FilterFileSystem.getFileStatus（FilterFileSystem.java:424）
位于org.apache.spark.scheduler.EventLoggingListener.start（EventLoggingListener.scala:100）
位于org.apache.spark.SparkContext（SparkContext.scala:541）
在com.cloudera.spark.simbox.sparksimbox.WordCount$.main上（WordCount.scala:12）
位于com.cloudera.spark.simbox.sparksimbox.WordCount.main（WordCount.scala）
在sun.reflect.NativeMethodAccessorImpl.invoke0（本机方法）处
在sun.reflect.NativeMethodAccessorImpl.invoke（NativeMethodAccessorImpl.java:57）中
在sun.reflect.DelegatingMethodAccessorImpl.invoke（DelegatingMethodAccessorImpl.java:43）中
位于java.lang.reflect.Method.invoke（Method.java:606）
位于org.apache.spark.deploy.SparkSubmit$.org$apache$spark$deploy$SparkSubmit$$runMain（SparkSubmit.scala:672）
位于org.apache.spark.deploy.SparkSubmit$.doRunMain$1（SparkSubmit.scala:180）
位于org.apache.spark.deploy.SparkSubmit$.submit（SparkSubmit.scala:205）
位于org.apache.spark.deploy.SparkSubmit$.main（SparkSubmit.scala:120）
位于org.apache.spark.deploy.SparkSubmit.main（SparkSubmit.scala）

Spark有一个名为“历史服务器”的功能，允许您在

SparkContext

死亡后浏览历史事件。通过将

spark.eventLog.enabled

设置为

true

，可以设置此属性

您有两个选项，或者通过

spark.eventLog.dir

config值指定一个有效目录来存储事件日志，或者如果不需要，只需将

spark.eventLog.enabled

设置为

false

---

您可以在页面中阅读更多信息。

我遇到了与spark中使用nltk相同的错误，为了解决这个问题，我刚刚从spark-conf.default中删除了所有与nltk相关的属性。

@G.Saleh很高兴它有所帮助。我单击时没有注意到