Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Scala 将存储过程的结果获取到数据帧或Rdd?_Scala_Apache Spark_Dataframe - Fatal编程技术网

Scala 将存储过程的结果获取到数据帧或Rdd?

Scala 将存储过程的结果获取到数据帧或Rdd?,scala,apache-spark,dataframe,Scala,Apache Spark,Dataframe,如何从存储过程的结果创建数据帧 val jdbcDf = sqlContext.read.format("jdbc").options(Map( "driver" -> "com.microsoft.sqlserver.jdbc.SQLServerDriver", "url" -> jdbcSqlConn, "dbtable" -> "(exec aStoredProc) a" // Error )).load() 这在逻辑上是不可能的,因为存

如何从存储过程的结果创建数据帧

  val jdbcDf = sqlContext.read.format("jdbc").options(Map(
    "driver" -> "com.microsoft.sqlserver.jdbc.SQLServerDriver",
    "url" -> jdbcSqlConn,
    "dbtable" -> "(exec aStoredProc) a" // Error
  )).load()

这在逻辑上是不可能的,因为存储过程可以返回0个或多个结果集

如果过程生成的行数很小,则可以在驱动程序应用程序中执行查询,并将结果集转换为Dataframe/Dataset。 例如,下面的代码片段从rw ResultSet生成数据帧

val conn = DriverManager.getConnection("jdbc:mysql://database/schema?user=username&password=pass")
val rs = conn.createStatement.executeQuery("exec stored_procedure()")
val data = Iterator.continually((rs.next(), rs)).takeWhile(_._1).map({case (_,rs) => rs.getString("col1") -> rs.getString("col2")}).toList // get the necassary columns (here I am getting col1,col2)
sc.parallelize(data).toDF()

或者,可以修改存储过程以将结果集写入表中,然后读取该表以创建数据帧。

可以使用rdd填充存储过程的结果吗?您能提供关于第一个选项的更多详细信息吗?@dc7a9163d9用选项1的代码示例更新了答案