Pyspark Py4JJavaError:调用o27.sessionState时出错

我试图在jupyter笔记本中使用spark。这是我的代码和错误。 谢谢

---

错误日志：

Py4JJavaError:调用o27.sessionState时出错： java.lang.NoSuchMethodError： org.apache.spark.sql.catalyst.parser.AbstractSqlParser（Lorg/apache/spark/sql/internal/SQLConf；）V 在 SparkSqlParser.scala:42） 在 org.apache.spark.sql.internal.BaseSessionStateBuilder.sqlParser$lzycompute（BaseSessionStateBuilder.scala:117） 在 org.apache.spark.sql.internal.BaseSessionStateBuilder.sqlParser（BaseSessionStateBuilder.scala:116） 在 org.apache.spark.sql.internal.BaseSessionStateBuilder.build（BaseSessionStateBuilder.scala:292） 在 org.apache.spark.sql.SparkSession$.org$apache$spark$sql$SparkSession$$instantiateSessionState（SparkSession.scala:1104） 在 org.apache.spark.sql.SparkSession$$anonfun$sessionState$2.apply（SparkSession.scala:145） 在 org.apache.spark.sql.SparkSession$$anonfun$sessionState$2.apply（SparkSession.scala:144） 位于scala.Option.getOrElse（Option.scala:121） org.apache.spark.sql.SparkSession.sessionState$lzycompute（SparkSession.scala:144） 在 org.apache.spark.sql.SparkSession.sessionState（SparkSession.scala:141） 位于的sun.reflect.NativeMethodAccessorImpl.invoke0（本机方法） invoke（NativeMethodAccessorImpl.java:62） 在 sun.reflect.DelegatingMethodAccessorImpl.invoke（DelegatingMethodAccessorImpl.java:43） 位于java.lang.reflect.Method.invoke（Method.java:498） py4j.reflection.MethodInvoker.invoke（MethodInvoker.java:244）位于 位于的py4j.reflection.ReflectionEngine.invoke（ReflectionEngine.java:357） py4j.Gateway.invoke（Gateway.java:282）位于 py4j.commands.AbstractCommand.invokeMethod（AbstractCommand.java:132） 在py4j.commands.CallCommand.execute（CallCommand.java:79）处 在上运行（GatewayConnection.java:238） run（Thread.java:748）

尝试删除

config（“spark.some.config.option”，“some value”）

method尝试删除

config（“spark.some.config.option”，“some value”）

method

spark = SparkSession.builder \
     .master("local") \
     .appName("Image Retrieval") \
     .config("spark.some.config.option", "some-value") \
     .getOrCreate()