Scala Spark 2.0套装罐

我正在play scala应用程序中从1.6升级到spark 2.0，不太确定如何设置所需的jar文件。以前会定义一个SparkConf，我可以调用的方法之一是setJars，它允许我指定我想要的所有jar文件。现在我使用SparkSession builder构建spark conf和spark上下文，我没有看到任何类似的方法来指定jar文件？我该怎么做

以下是我以前创建sparkconf的方式：

val sparkConf = new SparkConf().setMaster(sparkMaster).setAppName(sparkAppName).
  set("spark.yarn.jar", "hdfs:///user/hadoop/spark-assembly-1.6.1-hadoop2.7.2.jar").
  set("spark.eventLog.dir", "hdfs:///var/log/spark/apps").
  set("spark.eventLog.enabled", "true").
  set("spark.executorEnv.JAVA_HOME", "/usr/lib/jvm/jre-1.8.0-openjdk").
  setJars(Seq(
    "ALL JAR FILES LISTED HERE"
  ))

使用sparksession builder可以实现与“setJars”相同的功能吗？

您可以使用

.config（key，value）

方法设置

spark.jars

：

SparkSession.builder
 .appName(sparkAppName)
 .master(sparkMaster)
 .config("spark.jars", commaSeparatedListOfJars)
 .config(/* other stuff */)
 .getOrCreate()

您可以使用

.config（key，value）

方法设置

spark.jars

：

SparkSession.builder
 .appName(sparkAppName)
 .master(sparkMaster)
 .config("spark.jars", commaSeparatedListOfJars)
 .config(/* other stuff */)
 .getOrCreate()

---

很高兴听到-请接受和/或向上投票，以向未来的读者表明这一点。当我使用这个时，我似乎无法给出通向罐子的路径。我不能在我的案例中使用maven很高兴听到-请接受和/或向上投票，以向未来的读者表明这一点。当我使用它时，我似乎无法给出通向罐子的路径。我不能在我的案例中使用maven