Apache spark Spark历史记录服务器未启动

我已经在我的3节点集群上安装了CDH 5.4.7。在Spark上运行第一个作业后，我检查了应用程序历史页面。它是这样写的

Event log directory: hdfs://****:8020/user/spark/applicationHistory

No completed applications found!

Did you specify the correct logging directory? Please verify your setting of 
spark.history.fs.logDirectory and whether you have the permissions to access 
it. It is also possible that your application did not run to completion or 
did not stop the SparkContext.

我检查了HDFS，发现

/user/spark/applicationHistory

已经存在。但那个目录里没有条目。这意味着没有写入日志。我搜索了cloudera文档页面，在下面的链接中找到了管理Spark History Server的文章

如上所述，我添加了一个Spark历史服务器并启动了它。为我的用户执行以下两个命令

$ sudo -u hdfs hadoop fs -chown -R spark:spark /user/spark
$ sudo -u hdfs hadoop fs -chmod 1777 /user/spark/applicationHistory

但是，当我尝试执行以下命令时，它没有给出这样的文件或目录

错误

$ cp /etc/spark/conf/spark-defaults.conf.template /etc/spark/conf/spark-defaults.conf

因此，我转到路径

/etc/spark

，列出了其中的文件。它显示了类似这样的东西

conf -> /etc/alternatives/spark-conf

我既不能创建名为

conf

的目录，因为它已经存在，也不能将目录更改为

/etc/spark/conf

另外，

service spark history server start

命令给出了

无法识别的服务

错误

---

请帮忙！提前感谢

我在Cloudera Quickstart VM 5.12.0映像上遇到了相同的问题，并且能够通过以下步骤解决该问题：

• 停止历史记录服务器：

$sudo服务火花历史记录服务器停止

• 在HDFS中设置/user/spark/applicationHistory/目录的所有权和权限，如下所示：

$sudo-u hdfs hadoop fs-chown-R spark:spark/user/spark

$sudo-u hdfs hadoop fs-chmod 777/user/spark/applicationHistory

• 在/etc/spark/conf/spark-defaults.conf文件中添加以下行以记录事件：

spark.eventLog.enabled=true

spark.eventLog.dir=hdfs://quickstart.cloudera:8020/user/spark/applicationHistory

• 将以下行添加到/etc/spark/conf/spark-defaults.conf文件，以将Thread ResourceManager直接链接到spark History Server：

spark.Thread.historyServer.address=

• 启动历史记录服务器：

$sudo服务spark历史记录服务器启动

希望对其他人有用