Java ApacheSpark:以编程方式添加第三方JAR
我尝试了以下方法在代码中添加JAR: (一) (二) (三) 但是仍然为第三方库获取Java ApacheSpark:以编程方式添加第三方JAR,java,apache-spark,Java,Apache Spark,我尝试了以下方法在代码中添加JAR: (一) (二) (三) 但是仍然为第三方库获取java.lang.ClassNotFoundException 上课 而当我使用--jars选项运行时,同样的代码运行良好,比如 /spark submit--class com.test.spark.App--jars jar1.jar、jar2.jar main.jar Spark版本:Spark-2.0.0-bin-hadoop2.7如何生成jar?您是否创建了uber jar?是的,我正在创建uber
java.lang.ClassNotFoundException
上课
而当我使用--jars选项运行时,同样的代码运行良好,比如
/spark submit--class com.test.spark.App--jars jar1.jar、jar2.jar main.jar
Spark版本:Spark-2.0.0-bin-hadoop2.7如何生成jar?您是否创建了uber jar?是的,我正在创建uber jar。请在接受的答案中查找“SparkContext.addJar vs SparkContext.addFile”。@Hadoop浏览了链接,尝试了addFile也没有成功。您是如何生成jar的?您是否创建了uber jar?是的,我正在创建uber jar。请在接受的答案中查找“SparkContext.addJar vs SparkContext.addFile”。@Hadoop浏览了链接,尝试了addFile也没有成功。
SparkConf conf = new SparkConf().setAppName("myApp")
.setMaster(local[*])
.setJars(new String[]{"jar1.jar","jar2.jar"});
SparkConf conf = new SparkConf().setAppName("myApp")
.setMaster(local[*])
.set("spark.jars","path/to/jars");
SparkConf conf = new SparkConf().setAppName("myApp")
.setMaster(local[*]);
JavaSparkContext sc = new JavaSparkContext(conf)
.addJar("path/to/jars")`