Apache spark 动态加载jar到Jupyter笔记本中的Spark驱动程序

我想动态加载一个jar文件，以在Juptyer（Scala）中激活驱动程序。 sparkContext.addJar方法似乎将其加载到执行器。是否有办法将其加载到驾驶员

谢谢，

---

Krishna

在启动SPARK shell之前，将jar添加到SPARK_类路径环境变量中

conf/spark-env.sh将JAR包含在库中

---

更多

这是不可能的，不幸的是-

这是在jupyter笔记本场景中，在发布之前我没有JAR文件。作为执行的一部分，我需要动态加载。%AddJar cmd似乎特定于IBM笔记本，在我使用的jupyter版本（HDInsight）中不可用