Scala Spark历史服务器
我目前正在使用IntelliJ IDE开发Scala中的Spark。当我的程序执行时,我可以访问web UI,但之后我无法访问历史服务器 任何帮助都将不胜感激,顺便说一下,我正在使用windows。 我还在C:/tmp/spark events上创建了一个日志文件夹,并通过以下方式编辑了spark-defaults.conf:Scala Spark历史服务器,scala,apache-spark,logging,intellij-idea,Scala,Apache Spark,Logging,Intellij Idea,我目前正在使用IntelliJ IDE开发Scala中的Spark。当我的程序执行时,我可以访问web UI,但之后我无法访问历史服务器 任何帮助都将不胜感激,顺便说一下,我正在使用windows。 我还在C:/tmp/spark events上创建了一个日志文件夹,并通过以下方式编辑了spark-defaults.conf: # Example: # spark.master spark://master:7077 # spark.eventLog.en
# Example:
# spark.master spark://master:7077
# spark.eventLog.enabled true
# spark.eventLog.dir hdfs://namenode:8021/directory
# spark.serializer org.apache.spark.serializer.KryoSerializer
# spark.driver.memory 5g
# spark.executor.extraJavaOptions -XX:+PrintGCDetails -Dkey=value -Dnumbers="one two three"
-Dspark.eventLog.enabled true
-Dspark.history.fs.logDirectory file:///C:/tmp/spark-events
-Dspark.eventLog.dir file:///C:/tmp/spark-events
但我在执行后没有看到任何日志
更新1:看过本教程后,我现在可以访问历史服务器了。但是它是空的,并且日志不存在
更新2:我现在非常接近,如果我在控制台中启动spark shell,日志和历史记录都会工作,但是当我在IDE中使用这个程序时,它不会写入任何日志
这是我的密码
object SimpleScalaSpark {
def main(args: Array[String]) {
val logFile = "/Users/me/README.md" // Should be some file on your system
val conf = new SparkConf().setAppName("Simple Application").setMaster("local[*]")
val sc = new SparkContext(conf)
val logData = sc.textFile(logFile, 2).cache()
val numAs = logData.filter(line => line.contains("a")).count()
val numBs = logData.filter(line => line.contains("b")).count()
println("Lines with a: %s, Lines with b: %s".format(numAs, numBs))
}
}
通过在代码中添加以下行,我最终解决了这个问题:
conf.set("spark.eventLog.enabled", "true")
conf.set("spark.eventLog.dir", "file:///C:/Users/me/spark/logs")
现在一切正常了您启动了历史服务器web前端了吗?我建议您不要在tmp中创建spark events目录,系统每次重新启动时都会删除该目录。谢谢您的建议。不,Raphael,我在windows下,无法运行。sh…更新了我的问题这在C:/Users/me/spark/logs中为每个应用程序创建一个单独的文件夹?我想它会为您运行的每个应用程序创建一个单独的日志文件,但不是每次都创建一个文件夹