Apache spark ELK apache spark应用程序日志_Apache Spark_<img Src="//i.stack.imgur.com/RUiNP.png" Height="16" Width="18" Alt="" Class="sponsor Tag Img">elasticsearch_Filebeat

Apache spark ELK apache spark应用程序日志

apache-spark

Apache spark ELK apache spark应用程序日志,apache-spark,elasticsearch,filebeat,Apache Spark,elasticsearch,Filebeat,如何配置Filebeats以读取apache spark应用程序日志。一旦应用程序完成，生成的日志将以不可读的格式移动到history server。这里的理想方式是什么您可以配置Spark日志记录。有关设置Log4J配置的一些边缘情况的讨论，请参阅，但是如果您只想收集从集群（与每个作业的日志相比）的所有应用日志，则不需要考虑其中任何一个。在麋鹿方面，有，但不推荐谢天谢地，这个不推荐使用的插件的文档描述了如何配置log4j在本地为FileBeat写入数据，以及如何设置FileBeat来使用

如何配置Filebeats以读取apache spark应用程序日志。一旦应用程序完成，生成的日志将以不可读的格式移动到history server。这里的理想方式是什么

您可以配置Spark日志记录。有关设置Log4J配置的一些边缘情况的讨论，请参阅，但是如果您只想收集从集群（与每个作业的日志相比）的所有应用日志，则不需要考虑其中任何一个。在麋鹿方面，有，但不推荐

谢天谢地，这个不推荐使用的插件的文档描述了如何配置log4j在本地为FileBeat写入数据，以及如何设置FileBeat来使用这些数据并将其发送到Logstash实例。现在推荐使用log4j从系统中发送日志

综上所述，从Spark获取圆木到麋鹿的推荐方法是：

将Spark群集的Log4J配置设置为写入本地文件

运行FileBeat以使用这些文件并发送到logstash

Logstash将数据发送到Elastisearch

您可以使用Kibana搜索索引日志数据