Java 如何通过sparkSession向工人提交多个JAR?
我正在使用spark 2.2.0。下面是我在spark上使用的java代码片段:Java 如何通过sparkSession向工人提交多个JAR?,java,hadoop,apache-spark,Java,Hadoop,Apache Spark,我正在使用spark 2.2.0。下面是我在spark上使用的java代码片段: SparkSession spark = SparkSession.builder() .appName("MySQL Connection") .master("spark://ip:7077") .config("spark.jars", "/path/mysql.jar") .getOrCreate(); Dat
SparkSession spark = SparkSession.builder()
.appName("MySQL Connection")
.master("spark://ip:7077")
.config("spark.jars", "/path/mysql.jar")
.getOrCreate();
Dataset dataset = spark.read().format("jdbc")
.option("url", "jdbc:mysql://ip:3306/mysql")
.option("user", "superadmin")
.option("password", "****")
.option("dbtable", "account")
.load();
上面的代码工作得很好,但问题是,如果我需要提交2罐,那么我不知道如何提交它?config()方法只接受键('spark.jars')中的一个参数和值(jar的路径)中的一个参数。如果使用SparkConfig().setJars(),我知道如何发送多个JAR,但我不知道如何发送,因为我需要使用SparkSession
有人能帮忙吗?如中所述,您应该使用逗号分隔的列表:
SparkSession spark = SparkSession.builder()
.appName("MySQL Connection")
.master("spark://ip:7077")
.config("spark.jars", "/path/mysql.jar,/path/to/another.jar")
.getOrCreate();
如果使用SparkConfig().setJars(),我知道如何发送多个JAR,但我不知道如何发送,因为我需要使用SparkSession
SparkConf
:
SparkConf conf;
...
SparkSession.builder().config(conf).getOrCreate();