Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Python 3.x Windows PySpark 2.4.4 Standalone无法设置log4j.properties_Python 3.x_Apache Spark_Pyspark_Log4j - Fatal编程技术网

Python 3.x Windows PySpark 2.4.4 Standalone无法设置log4j.properties

Python 3.x Windows PySpark 2.4.4 Standalone无法设置log4j.properties,python-3.x,apache-spark,pyspark,log4j,Python 3.x,Apache Spark,Pyspark,Log4j,PySpark 2.4.4是在Windows计算机上使用pip安装的 SparkSession用于引导pyspark会话,主会话设置为local 除了覆盖默认的log4j属性之外,一切都按照预期工作 我已尝试设置spark conf目录。使用属性文件将conf目录添加到spark主目录。在SparkSession中设置额外的配置选项,但似乎没有任何进展 无论我做什么,log4j.properties似乎都被忽略了 如何设置spark会话以使用覆盖log4j.properties文件

PySpark 2.4.4是在Windows计算机上使用pip安装的

SparkSession用于引导pyspark会话,主会话设置为local

除了覆盖默认的log4j属性之外,一切都按照预期工作

我已尝试设置spark conf目录。使用属性文件将conf目录添加到spark主目录。在SparkSession中设置额外的配置选项,但似乎没有任何进展

无论我做什么,log4j.properties似乎都被忽略了

如何设置spark会话以使用覆盖log4j.properties文件