Apache spark 在齐柏林飞艇笔记本上运行spark作业时遇到问题

在过去的一周里，我一直在尝试调试这个程序，但没有成功。起初我认为这是一个序列化错误，因为重复调用了

readSerialData

，然而，即使我尝试对数据帧进行操作并仅返回一个向量（首先使用

mapPartition

，然后仅使用

map

，尽管效率很低），我仍然会遇到相同的错误

这是以下堆栈跟踪：

java.lang.ClassNotFoundException: org.apache.zeppelin.spark.SparkZeppelinContext
    at java.lang.ClassLoader.findClass(ClassLoader.java:524)
    at org.apache.spark.util.ParentClassLoader.findClass(ParentClassLoader.scala:26)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:419)
    at org.apache.spark.util.ParentClassLoader.loadClass(ParentClassLoader.scala:34)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:352)
    at org.apache.spark.util.ParentClassLoader.loadClass(ParentClassLoader.scala:30)
    at org.apache.spark.repl.ExecutorClassLoader.findClass(ExecutorClassLoader.scala:82)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:419)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:352)
    at java.lang.Class.getDeclaredFields0(Native Method)
    at java.lang.Class.privateGetDeclaredFields(Class.java:2583)
    at java.lang.Class.getDeclaredField(Class.java:2068)
    at java.io.ObjectStreamClass.getDeclaredSUID(ObjectStreamClass.java:1857)
    at java.io.ObjectStreamClass.access$700(ObjectStreamClass.java:79)
    at java.io.ObjectStreamClass$3.run(ObjectStreamClass.java:506)
    at java.io.ObjectStreamClass$3.run(ObjectStreamClass.java:494)
    at java.security.AccessController.doPrivileged(Native Method)
    at java.io.ObjectStreamClass.<init>(ObjectStreamClass.java:494)
    at java.io.ObjectStreamClass.lookup(ObjectStreamClass.java:391)
    at java.io.ObjectStreamClass.initNonProxy(ObjectStreamClass.java:681)
    at java.io.ObjectInputStream.readNonProxyDesc(ObjectInputStream.java:1939)
    at java.io.ObjectInputStream.readClassDesc(ObjectInputStream.java:1805)
    at java.io.ObjectInputStream.readOrdinaryObject(ObjectInputStream.java:2096)
    at java.io.ObjectInputStream.readObject0(ObjectInputStream.java:1624)
    at java.io.ObjectInputStream.defaultReadFields(ObjectInputStream.java:2341)
    at java.io.ObjectInputStream.readSerialData(ObjectInputStream.java:2265)
    at java.io.ObjectInputStream.readOrdinaryObject(ObjectInputStream.java:2123)
    at java.io.ObjectInputStream.readObject0(ObjectInputStream.java:1624)
    at java.io.ObjectInputStream.defaultReadFields(ObjectInputStream.java:2341)
    at java.io.ObjectInputStream.readSerialData(ObjectInputStream.java:2265)
    at java.io.ObjectInputStream.readOrdinaryObject(ObjectInputStream.java:2123)
    at java.io.ObjectInputStream.readObject0(ObjectInputStream.java:1624)
    at java.io.ObjectInputStream.defaultReadFields(ObjectInputStream.java:2341)
    at java.io.ObjectInputStream.readSerialData(ObjectInputStream.java:2265)
    at java.io.ObjectInputStream.readOrdinaryObject(ObjectInputStream.java:2123)
    at java.io.ObjectInputStream.readObject0(ObjectInputStream.java:1624)
    at java.io.ObjectInputStream.defaultReadFields(ObjectInputStream.java:2341)
    at java.io.ObjectInputStream.readSerialData(ObjectInputStream.java:2265)
    at java.io.ObjectInputStream.readOrdinaryObject(ObjectInputStream.java:2123)

java.lang.ClassNotFoundException:org.apache.zeppelin.spark.zeppelinContext
位于java.lang.ClassLoader.findClass（ClassLoader.java:524）
位于org.apache.spark.util.ParentClassLoader.findClass（ParentClassLoader.scala:26）
位于java.lang.ClassLoader.loadClass（ClassLoader.java:419）
位于org.apache.spark.util.ParentClassLoader.loadClass（ParentClassLoader.scala:34）
位于java.lang.ClassLoader.loadClass（ClassLoader.java:352）
位于org.apache.spark.util.ParentClassLoader.loadClass（ParentClassLoader.scala:30）
位于org.apache.spark.repl.ExecutorClassLoader.findClass（ExecutorClassLoader.scala:82）
位于java.lang.ClassLoader.loadClass（ClassLoader.java:419）
位于java.lang.ClassLoader.loadClass（ClassLoader.java:352）
位于java.lang.Class.getDeclaredFields0（本机方法）
位于java.lang.Class.privateGetDeclaredFields（Class.java:2583）
位于java.lang.Class.getDeclaredField（Class.java:2068）
位于java.io.ObjectStreamClass.getDeclaredSUID（ObjectStreamClass.java:1857）
在java.io.ObjectStreamClass.access$700（ObjectStreamClass.java:79）
在java.io.ObjectStreamClass$3.run（ObjectStreamClass.java:506）
在java.io.ObjectStreamClass$3.run（ObjectStreamClass.java:494）
位于java.security.AccessController.doPrivileged（本机方法）
位于java.io.ObjectStreamClass。（ObjectStreamClass.java:494）
位于java.io.ObjectStreamClass.lookup（ObjectStreamClass.java:391）
位于java.io.ObjectStreamClass.InitNoProxy（ObjectStreamClass.java:681）
位于java.io.ObjectInputStream.readNonProxyDesc（ObjectInputStream.java:1939）
位于java.io.ObjectInputStream.readClassDesc（ObjectInputStream.java:1805）
位于java.io.ObjectInputStream.readOrdinaryObject（ObjectInputStream.java:2096）
位于java.io.ObjectInputStream.readObject0（ObjectInputStream.java:1624）
位于java.io.ObjectInputStream.defaultReadFields（ObjectInputStream.java:2341）
位于java.io.ObjectInputStream.readSerialData（ObjectInputStream.java:2265）
位于java.io.ObjectInputStream.readOrdinaryObject（ObjectInputStream.java:2123）
位于java.io.ObjectInputStream.readObject0（ObjectInputStream.java:1624）
位于java.io.ObjectInputStream.defaultReadFields（ObjectInputStream.java:2341）
位于java.io.ObjectInputStream.readSerialData（ObjectInputStream.java:2265）
位于java.io.ObjectInputStream.readOrdinaryObject（ObjectInputStream.java:2123）
位于java.io.ObjectInputStream.readObject0（ObjectInputStream.java:1624）
位于java.io.ObjectInputStream.defaultReadFields（ObjectInputStream.java:2341）
位于java.io.ObjectInputStream.readSerialData（ObjectInputStream.java:2265）
位于java.io.ObjectInputStream.readOrdinaryObject（ObjectInputStream.java:2123）
位于java.io.ObjectInputStream.readObject0（ObjectInputStream.java:1624）
位于java.io.ObjectInputStream.defaultReadFields（ObjectInputStream.java:2341）
位于java.io.ObjectInputStream.readSerialData（ObjectInputStream.java:2265）
位于java.io.ObjectInputStream.readOrdinaryObject（ObjectInputStream.java:2123）

以前有人遇到过这种情况吗？非常感谢任何关于如何开始调试的提示