Apache spark Spark流作业中日志大小的控制
我们在HDInsight Spark cluster（纱线模式）中运行了Spark流式处理作业，我们看到流式处理作业在几周后停止，原因似乎是日志卷耗尽了磁盘空间 有没有办法为Spark streaming作业设置日志大小限制并启用滚动日志？我曾尝试在代码中设置下面的spark executor日志属性，但这个设置似乎不受欢迎Apache spark Spark流作业中日志大小的控制,apache-spark,spark-streaming,yarn,Apache Spark,Spark Streaming,Yarn,我们在HDInsight Spark cluster（纱线模式）中运行了Spark流式处理作业，我们看到流式处理作业在几周后停止，原因似乎是日志卷耗尽了磁盘空间 有没有办法为Spark streaming作业设置日志大小限制并启用滚动日志？我曾尝试在代码中设置下面的spark executor日志属性，但这个设置似乎不受欢迎 val sparkConfiguration: SparkConf = EventHubsUtils.initializeSparkStreamingConfigurati
val sparkConfiguration: SparkConf = EventHubsUtils.initializeSparkStreamingConfigurations
sparkConfiguration.set("spark.executor.logs.rolling.maxRetainedFiles", "2")
sparkConfiguration.set("spark.executor.logs.rolling.maxSize", "107374182")
val spark = SparkSession
.builder
.config(sparkConfiguration)
.getOrCreate()