如何在pyspark anaconda中添加jar文件?

如何在pyspark anaconda中添加jar文件?,pyspark,Pyspark,我已经通过anaconda安装了pyspark,并且可以在anaconda python中导入pyspark。但是我不知道如何在conf中添加jar文件 我试过了 from pyspark.sql import Row from pyspark import SparkConf, SparkContext conf=SparkConf().setAppName("2048roject").setMaster("local[*]")\ .set("spark.driver.maxRe

我已经通过anaconda安装了pyspark,并且可以在anaconda python中导入pyspark。但是我不知道如何在
conf
中添加jar文件

我试过了

from pyspark.sql import Row

from pyspark import SparkConf, SparkContext

conf=SparkConf().setAppName("2048roject").setMaster("local[*]")\
     .set("spark.driver.maxResultSize", "80g").set("spark.executor.memory", "5g").set("spark.driver.memory", "60g")
sc=SparkContext.getOrCreate(conf)
dfv = sc.textFile("./part-001*.gz")
但它不起作用。 有没有合适的方法在这里添加jar文件?

比如:

spark.jars.packages:要包含在驱动程序和执行器类路径上的JAR的Maven坐标的逗号分隔列表。坐标应为groupId:artifactId:version。如果给定spark.jars.ivySettings,则将根据文件中的配置解析工件,否则将在本地maven repo中搜索工件,然后是maven central,最后是命令行选项提供的任何其他远程存储库--repositories。有关更多详细信息,请参阅高级依赖项管理

相反,您应该只使用
spark.jars

spark.jars:包含在驱动程序和执行器类路径上的jar的逗号分隔列表。地球仪是允许的

因此:

conf=SparkConf().setAppName("2048roject").setMaster("local[*]")\
     .set("spark.driver.maxResultSize", "80g").set("spark.executor.memory", "5g").set("spark.driver.memory", "60g").set('spark.jars.packages','file:///XXX,jar')
conf=SparkConf().setAppName("2048roject").setMaster("local[*]")\
     .set("spark.driver.maxResultSize", "80g").set("spark.executor.memory", "5g").set("spark.driver.memory", "60g").set('spark.jars.files','file:///XXX.jar')