Pyspark Py4JError:org.apache.spark.api.PythonUtils.getEncryptionEnabled在DSVM的JVM中不存在

我正在使用一个python脚本在jupyter笔记本中建立pyspark环境。内核是Azure ML 3.6

#find SPARK_HOME Variable environment
import findspark
findspark.init()

import pyspark;
import os
# These reference the jars mentioned on the Snowflake documentation page
os.environ['PYSPARK_SUBMIT_ARGS'] = '--packages net.snowflake:snowflake-jdbc:3.6.24,net.snowflake:spark-snowflake_2.11:2.4.12-spark_2.3,com.microsoft.ml.spark:mmlspark_2.11:0.18.0 pyspark-shell'

from pyspark import SparkConf, SparkContext
from pyspark.sql import SQLContext, SparkSession

# Use the SparkSession API for datasets and dataframe API 
spark = SparkSession.builder.master('local').appName('test').config('spark.driver.memory', '6G').config('spark.driver.maxResultSize', '4G').config("spark.num.executors","8").config("spark.executor.cores", "8").config('spark.executor.memory', '14G').config("spark.worker.instances", "2").getOrCreate() 

但我收到了这个错误： Py4JError:org.apache.spark.api.PythonUtils.getEncryptionEnabled在JVM中不存在

---

我不明白为什么。昨天的代码运行得很好，但今天我收到了此错误。

您是否升级/降级了spark版本？没有，我没有修改spark版本中的任何内容。是2.4抱歉，是2.3.2您使用的Py4J版本是什么？Py4J版本：0.10.7您是否升级/降级了spark版本？不，我没有修改spark版本中的任何内容。是2.4抱歉是2.3.2您使用的是什么版本的Py4J？Py4J版本：0.10.7