Pyspark 如何在Sparkjob中设置日志级别_Pyspark

Pyspark 如何在Sparkjob中设置日志级别

pyspark

Pyspark 如何在Sparkjob中设置日志级别,pyspark,Pyspark,如何在Pyspark submit命令中抑制logLevel。我在下面的.py脚本中进行了尝试，但它仍然会生成所有警告日志。我正在使用sparkv2.2.0上的python2.6.6，请告知 from pyspark.sql import SparkSession import re,sys spark = SparkSession.builder.appName('Basics').enableHiveSupport().getOrCreate() spark.sparkContext.s

如何在Pyspark submit命令中抑制

logLevel

。我在下面的

.py

脚本中进行了尝试，但它仍然会生成所有警告日志。我正在使用

sparkv2.2.0上的python2.6.6
，请告知
from pyspark.sql import SparkSession
import re,sys

spark = SparkSession.builder.appName('Basics').enableHiveSupport().getOrCreate()
spark.sparkContext.setLogLevel("ERROR")

好了，你做对了，现在清楚了。当我设置LogLevel（“ALL”）时，我注意到了差异，谢谢