Apache spark Spark解释器在齐柏林飞艇上不工作

Apache spark Spark解释器在齐柏林飞艇上不工作,apache-spark,hadoop,interpreter,apache-zeppelin,Apache Spark,Hadoop,Interpreter,Apache Zeppelin,我正在使用齐柏林飞艇0.7.0运行Spark作业。我的齐柏林飞艇是独立安装,而Spark是使用Hortonworks/Ambari(2.6版)安装的。当我检查Ambari中Spark的状态时,它都是绿色的。齐柏林飞艇对许多口译员来说运行得也很好。但是,Spark解释器不工作。我尝试做的任何事情,即使是像sc.version这样简单的事情,都会产生完全相同的错误: java.lang.NullPointerException at org.apache.zeppelin.spark.Uti

我正在使用齐柏林飞艇0.7.0运行Spark作业。我的齐柏林飞艇是独立安装,而Spark是使用Hortonworks/Ambari(2.6版)安装的。当我检查Ambari中Spark的状态时,它都是绿色的。齐柏林飞艇对许多口译员来说运行得也很好。但是,Spark解释器不工作。我尝试做的任何事情,即使是像
sc.version
这样简单的事情,都会产生完全相同的错误:

java.lang.NullPointerException
    at org.apache.zeppelin.spark.Utils.invokeMethod(Utils.java:38)
    at org.apache.zeppelin.spark.Utils.invokeMethod(Utils.java:33)
    at org.apache.zeppelin.spark.SparkInterpreter.open(SparkInterpreter.java:652)
    at org.apache.zeppelin.interpreter.LazyOpenInterpreter.open(LazyOpenInterpreter.java:70)
    at org.apache.zeppelin.interpreter.remote.RemoteInterpreterServer$InterpretJob.jobRun(RemoteInterpreterServer.java:483)
    at org.apache.zeppelin.scheduler.Job.run(Job.java:175)
    at org.apache.zeppelin.scheduler.FIFOScheduler$1.run(FIFOScheduler.java:139)
    at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511)
    at java.util.concurrent.FutureTask.run(FutureTask.java:266)
    at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.access$201(ScheduledThreadPoolExecutor.java:180)
    at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.run(ScheduledThreadPoolExecutor.java:293)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
    at java.lang.Thread.run(Thread.java:745)

这一错误发生得出人意料。Spark解释器一直工作正常,直到几周前出现此错误。我重新启动了Spark和齐柏林飞艇,但错误依然存在。齐柏林飞艇或Spark的配置文件中没有任何更改导致此问题。

我与齐柏林飞艇有相同的问题,并已通过解释器设置修复

  • 转到解释器并搜索,然后选择spark
    解释器
  • 单击编辑并添加
    name
    value
    作为
    zeppelin.spark.useHiveContext=false

  • 希望这能奏效

    请进一步检查解释器日志,您看到的错误是由于未能创建SparkContext,您需要检查日志以了解SparkContext未能创建的原因

    你能试着在齐柏林飞艇使用的Spark_家里运行Spark shell吗?是的,Spark shell可以打开,我可以运行命令。嗯。有没有特别的理由不使用HDP提供的齐柏林飞艇?我想当时与该版本的HDP捆绑在一起的齐柏林飞艇有问题(内存泄漏)我们决定使用问题较少的旧版本。添加后你能重新启动齐柏林飞艇吗?@Shankar Koirala我在windows 10和scala/spark中安装时遇到这个错误,有什么线索我在这里遗漏了吗?````` java.lang.ClassNotFoundException:org.apache.zeppelin.解释器.remote.remote解释器服务器在java.net.URLClassLoader.findClass(URLClassLoader.java:381)在java.lang.ClassLoader.loader.loader(ClassLoader.java:424)在java.lang.ClassLoader.ClassLoader.java:357)org.apache.spark.deploy.SparkSubmit$.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:689)位于