Apache spark 如何跟踪纱线原木？

我提交一个火花作业使用下面的命令。我想使用应用程序Id跟踪纱线日志，类似于Linux box中的tail命令操作

export SPARK_MAJOR_VERSION=2
nohup spark-submit --class "com.test.TestApplication" --name TestApp --queue queue1 --properties-file application.properties --files "hive-site.xml,tez-site.xml,hbase-site.xml,application.properties" --master yarn --deploy-mode cluster Test-app.jar > /tmp/TestApp.log &

不容易

“纱线日志”实际上并不在纱线中，它们实际上位于Spark的执行器节点上。如果启用了纱线日志聚合，则日志位于HDFS中，并可从Spark History server获得

行业部署模式是将Spark log4j属性配置为使用日志转发器（如Filebeat、Splunk、Fluentd）写入文件，然后这些进程将数据收集到搜索引擎（如Solr、Elasticsearch、Graylog、Splunk等）中。通过这些工具，您可以在CLI之外跟踪/搜索/分析日志消息