Scala 将存储过程的结果获取到数据帧或Rdd?
如何从存储过程的结果创建数据帧Scala 将存储过程的结果获取到数据帧或Rdd?,scala,apache-spark,dataframe,Scala,Apache Spark,Dataframe,如何从存储过程的结果创建数据帧 val jdbcDf = sqlContext.read.format("jdbc").options(Map( "driver" -> "com.microsoft.sqlserver.jdbc.SQLServerDriver", "url" -> jdbcSqlConn, "dbtable" -> "(exec aStoredProc) a" // Error )).load() 这在逻辑上是不可能的,因为存
val jdbcDf = sqlContext.read.format("jdbc").options(Map(
"driver" -> "com.microsoft.sqlserver.jdbc.SQLServerDriver",
"url" -> jdbcSqlConn,
"dbtable" -> "(exec aStoredProc) a" // Error
)).load()
这在逻辑上是不可能的,因为存储过程可以返回0个或多个结果集 如果过程生成的行数很小,则可以在驱动程序应用程序中执行查询,并将结果集转换为Dataframe/Dataset。 例如,下面的代码片段从rw ResultSet生成数据帧
val conn = DriverManager.getConnection("jdbc:mysql://database/schema?user=username&password=pass")
val rs = conn.createStatement.executeQuery("exec stored_procedure()")
val data = Iterator.continually((rs.next(), rs)).takeWhile(_._1).map({case (_,rs) => rs.getString("col1") -> rs.getString("col2")}).toList // get the necassary columns (here I am getting col1,col2)
sc.parallelize(data).toDF()
或者,可以修改存储过程以将结果集写入表中,然后读取该表以创建数据帧。可以使用rdd填充存储过程的结果吗?您能提供关于第一个选项的更多详细信息吗?@dc7a9163d9用选项1的代码示例更新了答案