Python 在创建上下文后向pyspark添加jar文件

我正在使用笔记本中的pyspark，我不处理SparkSession的创建。 我需要加载一个jar，其中包含一些我希望在处理rdd时使用的函数。这是一件你可以很容易地用罐子做的事情，但在我的特殊情况下我做不到。 有没有办法访问spark scala上下文并调用addJar方法？我尝试使用JavaGateway（sparksession.\uJVM…），但迄今为止还没有成功。有什么想法吗

谢谢

---

Guillaume

sparksession.\u jsc.addJar执行此任务。

您可以尝试此方法，它将文件添加到所有节点的上下文中：

spark.sparkContext.addFile("filename")

---

通过addJar分发xxx.jar，并通过extraClassPath导入

spark = SparkSession.builder.config('spark.driver.extraClassPath', 'xxx.jar').getOrCreate()
spark.sparkContext._jsc.addJar('/xxx/xxx/xxx.jar')

---

... 但它只部分解决了我的问题，因为该方法在我的驱动程序节点上可用！我觉得这个很有用