Pyspark databricks connect，py4j.protocol.Py4JJavaError:调用o342.cache时出错

与DataRicks的连接工作正常，与DataFrames的工作进展顺利（连接、筛选等操作）。 当我在数据帧上调用

缓存

时，就会出现问题

py4j.protocol.Py4JJavaError: An error occurred while calling o342.cache.
: java.io.InvalidClassException: failed to read class descriptor
...
Caused by: java.lang.ClassNotFoundException: org.apache.spark.rdd.RDD$client53442a94a3$$anonfun$mapPartitions$1$$anonfun$apply$23
    at java.lang.ClassLoader.findClass(ClassLoader.java:523)
    at org.apache.spark.util.ParentClassLoader.findClass(ParentClassLoader.java:35)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:418)
    at org.apache.spark.util.ParentClassLoader.loadClass(ParentClassLoader.java:40)
    at org.apache.spark.util.ChildFirstURLClassLoader.loadClass(ChildFirstURLClassLoader.java:48)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:351)
    at java.lang.Class.forName0(Native Method)
    at java.lang.Class.forName(Class.java:348)
    at org.apache.spark.util.Utils$.classForName(Utils.scala:257)
    at org.apache.spark.sql.util.ProtoSerializer.org$apache$spark$sql$util$ProtoSerializer$$readResolveClassDescriptor(ProtoSerializer.scala:4316)
    at org.apache.spark.sql.util.ProtoSerializer$$anon$4.readClassDescriptor(ProtoSerializer.scala:4304)
    at java.io.ObjectInputStream.readNonProxyDesc(ObjectInputStream.java:1857)
    ... 71 more

我根据需要使用java8，清除pycache没有帮助。 作为作业提交给databricks的相同代码可以正常工作。 在桥接python jvm级别上，这看起来像是一个局部问题，但java版本（8）和python版本（3.7）是必需的。切换到java13会产生完全相同的消息

版本

databricks connect==6.2.0

，

openjdk版本“1.8.0_242”

，

Python 3.7.6

编辑： 行为取决于如何创建DF，如果DF的源是外部的，那么它工作正常；如果DF是在本地创建的，那么就会出现这样的错误

#工作正常
df=spark.read.csv（“dbfs:/some.csv”）
df.cache（）
#“缓存”行中出现错误
df=spark.createDataFrame（[（（“a”），（“b”））
df.cache（）

这是一个已知的问题，我认为最近的补丁修复了它。这是在Azure上看到的，我不确定你是在使用哪个Azure还是AWS，但问题已经解决了。请检查问题-

您是否通过了所需的databricks库？@Prabhanj我不确定应该通过哪些库，java进程看起来是这样的，所以所有必要的JAR似乎都被传递了

/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.242.b08-0.fc31.x86_64/jre/bin/java-cp/virtualenvs/dFbOM9ck/lib/python3.7/site packages/pyspark/conf:/virtualenvs/dFbOM9ck/lib/python3.7/conf/python3.7/site packages/pyspark/pyspark/python3.7/site-packages/pyspark/*-Xmx1g org.apache.spark/spark/*-pyshell