Apache spark 如何使用Zeppelin/HDP2.4中的Spark解释器使用JsonSerDe在配置单元表上运行查询？

无法使用齐柏林飞艇中的spark解释器运行配置单元查询

我能够加载配置单元上下文。配置单元表正在使用

org.apache.Hive.hcatalog.data.JsonSerDe

。但查询总是返回：

classNotFoundException org.apache.hive.hcatalog.data.JsonSerDe

我在spark配置中添加了

spark.executor.extraClassPath

和

spark.driver.extraClassPath

我也试着在

/interpreter/spark/dep

文件夹中复制jar，但没有成功

我在齐柏林飞艇解释器配置中也添加了这个。我卡住了，请帮帮我

StackTrace:：：

java.lang.RuntimeException: java.lang.ClassNotFoundException: org.apache.hive.hcatalog.data.JsonSerDe
    at org.apache.hadoop.hive.ql.plan.TableDesc.getDeserializerClass(TableDesc.java:74)
    at org.apache.spark.sql.hive.execution.HiveTableScan.addColumnMetadataToConf(HiveTableScan.scala:90)
    at org.apache.spark.sql.hive.execution.HiveTableScan.<init>(HiveTableScan.scala:73)
    at org.apache.spark.sql.hive.HiveStrategies$HiveTableScans$$anonfun$3.apply(HiveStrategies.scala:77)
    at org.apache.spark.sql.hive.HiveStrategies$HiveTableScans$$anonfun$3.apply(HiveStrategies.scala:77)
    at org.apache.spark.sql.execution.SparkPlanner.pruneFilterProject(SparkPlanner.scala:79)
    at org.apache.spark.sql.hive.HiveStrategies$HiveTableScans$.apply(HiveStrategies.scala:73)
    at org.apache.spark.sql.catalyst.planning.QueryPlanner$$anonfun$1.apply(QueryPlanner.scala:58)
    at org.apache.spark.sql.catalyst.planning.QueryPlanner$$anonfun$1.apply(QueryPlanner.scala:58)
    at scala.collection.Iterator$$anon$13.hasNext(Iterator.scala:371)
    at org.apache.spark.sql.catalyst.planning.QueryPlanner.plan(QueryPlanner.scala:59)
    at org.apache.spark.sql.catalyst.planning.QueryPlanner.planLater(QueryPlanner.scala:54)
    at org.apache.spark.sql.execution.SparkStrategies$Aggregation$.apply(SparkStrategies.scala:217)
    at org.apache.spark.sql.catalyst.planning.QueryPlanner$$anonfun$1.apply(QueryPlanner.scala:58)
    at org.apache.spark.sql.catalyst.planning.QueryPlanner$$anonfun$1.apply(QueryPlanner.scala:58)
    at scala.collection.Iterator$$anon$13.hasNext(Iterator.scala:371)
    at org.apache.spark.sql.catalyst.planning.QueryPlanner.plan(QueryPlanner.scala:59)
    at org.apache.spark.sql.catalyst.planning.QueryPlanner.planLater(QueryPlanner.scala:54)
    at org.apache.spark.sql.execution.SparkStrategies$BasicOperators$.apply(SparkStrategies.scala:349)
    at org.apache.spark.sql.catalyst.planning.QueryPlanner$$anonfun$1.apply(QueryPlanner.scala:58)
    at org.apache.spark.sql.catalyst.planning.QueryPlanner$$anonfun$1.apply(QueryPlanner.scala:58)
    at scala.collection.Iterator$$anon$13.hasNext(Iterator.scala:371)
    at org.apache.spark.sql.catalyst.planning.QueryPlanner.plan(QueryPlanner.scala:59)
    at org.apache.spark.sql.execution.QueryExecution.sparkPlan$lzycompute(QueryExecution.scala:47)
    at org.apache.spark.sql.execution.QueryExecution.sparkPlan(QueryExecution.scala:45)
    at org.apache.spark.sql.execution.QueryExecution.executedPlan$lzycompute(QueryExecution.scala:52)
    at org.apache.spark.sql.execution.QueryExecution.executedPlan(QueryExecution.scala:52)
    at org.apache.spark.sql.DataFrame.withCallback(DataFrame.scala:2134)
    at org.apache.spark.sql.DataFrame.head(DataFrame.scala:1413)
    at org.apache.spark.sql.DataFrame.take(DataFrame.scala:1495)
    at org.apache.spark.sql.DataFrame.showString(DataFrame.scala:171)
    at org.apache.spark.sql.DataFrame.show(DataFrame.scala:394)
    at org.apache.spark.sql.DataFrame.show(DataFrame.scala:355)
    at org.apache.spark.sql.DataFrame.show(DataFrame.scala:363)
    at $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:32)
    at $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:37)
    at $iwC$$iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:39)
    at $iwC$$iwC$$iwC$$iwC$$iwC.<init>(<console>:41)
    at $iwC$$iwC$$iwC$$iwC.<init>(<console>:43)
    at $iwC$$iwC$$iwC.<init>(<console>:45)
    at $iwC$$iwC.<init>(<console>:47)
    at $iwC.<init>(<console>:49)
    at <init>(<console>:51)
    at .<init>(<console>:55)
    at .<clinit>(<console>)
    at .<init>(<console>:7)
    at .<clinit>(<console>)
    at $print(<console>)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:606)
    at org.apache.spark.repl.SparkIMain$ReadEvalPrint.call(SparkIMain.scala:1065)
    at org.apache.spark.repl.SparkIMain$Request.loadAndRun(SparkIMain.scala:1346)
    at org.apache.spark.repl.SparkIMain.loadAndRunReq$1(SparkIMain.scala:840)
    at org.apache.spark.repl.SparkIMain.interpret(SparkIMain.scala:871)
    at org.apache.spark.repl.SparkIMain.interpret(SparkIMain.scala:819)
    at org.apache.zeppelin.spark.SparkInterpreter.interpretInput(SparkInterpreter.java:709)
    at org.apache.zeppelin.spark.SparkInterpreter.interpret(SparkInterpreter.java:673)
    at org.apache.zeppelin.spark.SparkInterpreter.interpret(SparkInterpreter.java:666)
    at org.apache.zeppelin.interpreter.ClassloaderInterpreter.interpret(ClassloaderInterpreter.java:57)
    at org.apache.zeppelin.interpreter.LazyOpenInterpreter.interpret(LazyOpenInterpreter.java:93)
    at org.apache.zeppelin.interpreter.remote.RemoteInterpreterServer$InterpretJob.jobRun(RemoteInterpreterServer.java:295)
    at org.apache.zeppelin.scheduler.Job.run(Job.java:171)
    at org.apache.zeppelin.scheduler.FIFOScheduler$1.run(FIFOScheduler.java:139)
    at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:471)
    at java.util.concurrent.FutureTask.run(FutureTask.java:262)
    at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.access$201(ScheduledThreadPoolExecutor.java:178)
    at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.run(ScheduledThreadPoolExecutor.java:292)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)
    at java.lang.Thread.run(Thread.java:745)
Caused by: java.lang.ClassNotFoundException: org.apache.hive.hcatalog.data.JsonSerDe
    at java.net.URLClassLoader$1.run(URLClassLoader.java:366)
    at java.net.URLClassLoader$1.run(URLClassLoader.java:355)
    at java.security.AccessController.doPrivileged(Native Method)
    at java.net.URLClassLoader.findClass(URLClassLoader.java:354)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:425)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:358)
    at java.lang.Class.forName0(Native Method)
    at java.lang.Class.forName(Class.java:278)
    at org.apache.hadoop.hive.ql.plan.TableDesc.getDeserializerClass(TableDesc.java:71)

java.lang.RuntimeException:java.lang.ClassNotFoundException:org.apache.hive.hcatalog.data.JsonSerDe
位于org.apache.hadoop.hive.ql.plan.TableDesc.getDeserializerClass（TableDesc.java:74）
位于org.apache.spark.sql.hive.execution.HiveTableScan.addColumnMetadataToConf（HiveTableScan.scala:90）
位于org.apache.spark.sql.hive.execution.HiveTableScan.（HiveTableScan.scala:73）
位于org.apache.spark.sql.hive.HiveStrategies$HiveTableScans$$anonfun$3.apply（HiveStrategies.scala:77）
位于org.apache.spark.sql.hive.HiveStrategies$HiveTableScans$$anonfun$3.apply（HiveStrategies.scala:77）
位于org.apache.spark.sql.execution.SparkPlanner.pruneFilterProject（SparkPlanner.scala:79）
位于org.apache.spark.sql.hive.HiveStrategies$HiveTableScans$.apply（HiveStrategies.scala:73）
在org.apache.spark.sql.catalyst.planning.QueryPlanner$$anonfun$1.apply上（QueryPlanner.scala:58）
在org.apache.spark.sql.catalyst.planning.QueryPlanner$$anonfun$1.apply上（QueryPlanner.scala:58）
位于scala.collection.Iterator$$anon$13.hasNext（Iterator.scala:371）
位于org.apache.spark.sql.catalyst.planning.QueryPlanner.plan（QueryPlanner.scala:59）
位于org.apache.spark.sql.catalyst.planning.QueryPlanner.planLater（QueryPlanner.scala:54）
位于org.apache.spark.sql.execution.SparkStrategies$Aggregation$.apply（SparkStrategies.scala:217）
在org.apache.spark.sql.catalyst.planning.QueryPlanner$$anonfun$1.apply上（QueryPlanner.scala:58）
在org.apache.spark.sql.catalyst.planning.QueryPlanner$$anonfun$1.apply上（QueryPlanner.scala:58）
位于scala.collection.Iterator$$anon$13.hasNext（Iterator.scala:371）
位于org.apache.spark.sql.catalyst.planning.QueryPlanner.plan（QueryPlanner.scala:59）
位于org.apache.spark.sql.catalyst.planning.QueryPlanner.planLater（QueryPlanner.scala:54）
在org.apache.spark.sql.execution.SparkStrategies$BasicOperators$.apply（SparkStrategies.scala:349）
在org.apache.spark.sql.catalyst.planning.QueryPlanner$$anonfun$1.apply上（QueryPlanner.scala:58）
在org.apache.spark.sql.catalyst.planning.QueryPlanner$$anonfun$1.apply上（QueryPlanner.scala:58）
位于scala.collection.Iterator$$anon$13.hasNext（Iterator.scala:371）
位于org.apache.spark.sql.catalyst.planning.QueryPlanner.plan（QueryPlanner.scala:59）
位于org.apache.spark.sql.execution.QueryExecution.sparkPlan$lzycompute（QueryExecution.scala:47）
位于org.apache.spark.sql.execution.QueryExecution.sparkPlan（QueryExecution.scala:45）
位于org.apache.spark.sql.execution.QueryExecution.ExecutePlan$lzycompute（QueryExecution.scala:52）
位于org.apache.spark.sql.execution.QueryExecution.ExecutePlan（QueryExecution.scala:52）
位于org.apache.spark.sql.DataFrame.withCallback（DataFrame.scala:2134）
位于org.apache.spark.sql.DataFrame.head（DataFrame.scala:1413）
位于org.apache.spark.sql.DataFrame.take（DataFrame.scala:1495）
位于org.apache.spark.sql.DataFrame.showString（DataFrame.scala:171）
位于org.apache.spark.sql.DataFrame.show（DataFrame.scala:394）
位于org.apache.spark.sql.DataFrame.show（DataFrame.scala:355）
位于org.apache.spark.sql.DataFrame.show（DataFrame.scala:363）
在$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC。（：32）
在$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC。（：37）
$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC。（：39）
在$iwC$$iwC$$iwC$$iwC$$iwC。（：41）
在$iwC$$iwC$$iwC$$iwC。（：43）
在$iwC$$iwC$$iwC。（:45）
$iwC$$iwC。（:47）
$iwC。（:49）
在（：51）
在。（：55）
在
在。（：7）
在
$print（）
在sun.reflect.NativeMethodAccessorImpl.invoke0（本机方法）处
在sun.reflect.NativeMethodAccessorImpl.invoke（NativeMethodAccessorImpl.java:57）中
在sun.reflect.DelegatingMethodAccessorImpl.invoke（DelegatingMethodAccessorImpl.java:43）中
位于java.lang.reflect.Method.invoke（Method.java:606）
位于org.apache.spark.repl.SparkIMain$ReadEvalPrint.call（SparkIMain.scala:1065）
位于org.apache.spark.repl.SparkIMain$Request.loadAndRun（SparkIMain.scala:1346）
在org.apache.spark.repl.SparkIMain.loadAndRunReq$1（SparkIMain.scala:840）
在org.apache.spark.repl.SparkIMain.exploration上（SparkIMain.scala:871）
在org.apache.spark.repl.SparkIMain.exploration上（SparkIMain.scala:819）
位于org.apache.zeppelin.spark.sparkinterpeter.interpretainput（sparkinterpeter.java:709）
位于org.apache.zeppelin.spark.sparkinterpeter.exploration（sparkinterpeter.java:673）
位于org.apache.zeppelin.spark.sparkinterpeter.exploration（sparkinterpeter.java:666）
位于org.apache.zeppelin.explorer.ClassloaderInterpreter.exploration（ClassloaderInterpreter.java:57）
在org.apache.zeppelin.explorer.lazyopenexplorer.explor（lazyopenexplorer.java:93）上
位于org.apache.zeppelin.explorer.remote.remoteExplorerserver$interpretajob.jobRun（remoteExplorerserver.java:295）
位于org.apache.zeppelin.scheduler.Job.run（Job.java:171）
位于org.apache.zeppelin.scheduler.FIFOScheduler$1.run（FIFOScheduler.java:139）
位于java.util.concurrent.Executors$RunnableAdapter.call（Executors.java:471）
在java.util.concurrent.FutureTask.run（FutureTask.java:262）处
位于java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.access$201（ScheduledThreadPoolExecutor.java:178）
位于java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.run（ScheduledThreadPoolExecutor.java:292）
在java.util.concurrent.Thread