Fatal编程技术网
  • apache-spark/
  • Apache spark spark历史服务器处于“纱线”模式

Apache spark spark历史服务器处于“纱线”模式

apache-spark

Apache spark spark历史服务器处于“纱线”模式,apache-spark,yarn,Apache Spark,Yarn,有人能帮助理解两者之间的明显区别吗 spark.eventLog.dir和spark.history.fs.logDirectory 另外，请将这些属性与warn.nodemanager.remote app log dir和mapreduce.jobhistory.done dir 请不要将文档粘贴为响应：） 我已经通过下面的链接，但无法理解。 正如链接的帖子所说 spark.eventLog.dir用于写入日志，而spark.history.fs.logDirectory用于spark hi

有人能帮助理解两者之间的明显区别吗 
spark.eventLog.dir
和
spark.history.fs.logDirectory

另外，请将这些属性与
warn.nodemanager.remote app log dir
和
mapreduce.jobhistory.done dir

请不要将文档粘贴为响应：）

我已经通过下面的链接，但无法理解。
正如链接的帖子所说

spark.eventLog.dir
用于写入日志，而
spark.history.fs.logDirectory
用于spark history Server读取日志事件

在某些情况下，这些可能是不同的-例如，某些外部定期作业可能会将正在积极写入的文件移动到历史位置

Spark日志目录应与Thread和MapReduce历史服务器分开