JavaSpark与数据库的连接

JavaSpark与数据库的连接,java,database,angular,apache-spark,connection,Java,Database,Angular,Apache Spark,Connection,我们正在进行一个项目,希望通过JavaSpark连接到数据库。我在数据库和前端领域有经验,但我是JavaSpark的新手。我只想知道如何建立连接以及如何访问表。 我们正在使用Angular4和SQL数据库 如果你能帮助我或给我举个小例子,我会非常高兴 publicstaticvoidmain(字符串[]args){ public static void main(String[] args) { Map<String, String> options = new HashMa

我们正在进行一个项目,希望通过JavaSpark连接到数据库。我在数据库和前端领域有经验,但我是JavaSpark的新手。我只想知道如何建立连接以及如何访问表。 我们正在使用Angular4和SQL数据库

如果你能帮助我或给我举个小例子,我会非常高兴

publicstaticvoidmain(字符串[]args){
public static void main(String[] args) {
    Map<String, String> options = new HashMap<String, String>();
    options.put("url","jdbc:mysql://<DBURL>:<PORT>/<Database>?user=<UserName>&password=<Password>");
    options.put("dbtable", "<TableName>");
    JavaSparkContext sc = new JavaSparkContext(new SparkConf().setAppName("DBConnection").setMaster("local[*]"));
    SQLContext sqlContext = new org.apache.spark.sql.SQLContext(sc);
    // DataFrame jdbcDF = sqlContext.load("jdbc", options).cache();
    DataFrame jdbcDF = sqlContext.jdbc(options.get("url"),options.get("dbtable"));
    System.out.println("Data------------------->" + jdbcDF.toJSON().first());
    Row[] rows = jdbcDF.collect();
    System.out.println("Without Filter \n ------------------------------------------------- ");
    for (Row row2 : rows) {
        System.out.println(row2.toString());
    }
    System.out.println("Filter Data\n ------------------------------------------------- ");
    jdbcDF = jdbcDF.select("agency_id","route_id").where(jdbcDF.col("route_id").$less$eq(3));
    rows = jdbcDF.collect();
    for (Row row2 : rows) {
        System.out.println(row2.toString());
    }
}
Map options=newhashmap(); options.put(“url”,“jdbc:mysql://:/?user=&password=”); 期权。看跌期权(“dbtable”,下称“); JavaSparkContext sc=新的JavaSparkContext(新的SparkConf().setAppName(“DBConnection”).setMaster(“local[*]”); SQLContext SQLContext=neworg.apache.spark.sql.SQLContext(sc); //DataFrame jdbcDF=sqlContext.load(“jdbc”,options).cache(); DataFrame jdbcDF=sqlContext.jdbc(options.get(“url”)、options.get(“dbtable”); System.out.println(“数据----------------->”+jdbcDF.toJSON().first()); Row[]rows=jdbcDF.collect(); System.out.println(“不带过滤器\n-----------------------------------------------”; 用于(第2行:行){ System.out.println(row2.toString()); } System.out.println(“筛选数据\n-----------------------------------------------”; jdbcDF=jdbcDF.select(“机构id”、“路线id”)。其中(jdbcDF.col(“路线id”)。$减去$eq(3)); rows=jdbcDF.collect(); 用于(第2行:行){ System.out.println(row2.toString()); } }
嘿,谢谢你!:)