Warning: file_get_contents(/data/phpspider/zhask/data//catemap/9/java/309.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Java ApacheSpark:以编程方式添加第三方JAR_Java_Apache Spark - Fatal编程技术网

Java ApacheSpark:以编程方式添加第三方JAR

Java ApacheSpark:以编程方式添加第三方JAR,java,apache-spark,Java,Apache Spark,我尝试了以下方法在代码中添加JAR: (一) (二) (三) 但是仍然为第三方库获取java.lang.ClassNotFoundException 上课 而当我使用--jars选项运行时,同样的代码运行良好,比如 /spark submit--class com.test.spark.App--jars jar1.jar、jar2.jar main.jar Spark版本:Spark-2.0.0-bin-hadoop2.7如何生成jar?您是否创建了uber jar?是的,我正在创建uber

我尝试了以下方法在代码中添加JAR:

(一)

(二)

(三)

但是仍然为第三方库获取
java.lang.ClassNotFoundException
上课

而当我使用--jars选项运行时,同样的代码运行良好,比如
/spark submit--class com.test.spark.App--jars jar1.jar、jar2.jar main.jar


Spark版本:Spark-2.0.0-bin-hadoop2.7

如何生成jar?您是否创建了uber jar?是的,我正在创建uber jar。请在接受的答案中查找“SparkContext.addJar vs SparkContext.addFile”。@Hadoop浏览了链接,尝试了addFile也没有成功。您是如何生成jar的?您是否创建了uber jar?是的,我正在创建uber jar。请在接受的答案中查找“SparkContext.addJar vs SparkContext.addFile”。@Hadoop浏览了链接,尝试了addFile也没有成功。
SparkConf conf = new SparkConf().setAppName("myApp")
                 .setMaster(local[*])
                 .setJars(new String[]{"jar1.jar","jar2.jar"});
SparkConf conf = new SparkConf().setAppName("myApp")
                 .setMaster(local[*])
                 .set("spark.jars","path/to/jars");
SparkConf conf = new SparkConf().setAppName("myApp")
                 .setMaster(local[*]);
JavaSparkContext sc = new JavaSparkContext(conf)
                      .addJar("path/to/jars")`