Apache spark 如何将spark输出存储到rdbms数据库?
我最近开始使用spark,我有一个用例,需要处理文件并存储postgre数据库的输出。我能够读取文件并对其进行处理,但无法将处理后的数据存储到数据库中。有人能建议我如何将输出保存到db吗Apache spark 如何将spark输出存储到rdbms数据库?,apache-spark,Apache Spark,我最近开始使用spark,我有一个用例,需要处理文件并存储postgre数据库的输出。我能够读取文件并对其进行处理,但无法将处理后的数据存储到数据库中。有人能建议我如何将输出保存到db吗 谢谢,,,如果可以从“所有工作人员”节点访问数据库,则可以使用foreachPartition保存输出。伪代码: rdd.foreachPartition { records => // Connect to the database records.foreach { r =>
谢谢,,,如果可以从“所有工作人员”节点访问数据库,则可以使用
foreachPartition
保存输出。伪代码:
rdd.foreachPartition { records =>
// Connect to the database
records.foreach { r =>
// Loop over records and save
}
// Close the connection to the db
}