Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark 如何将spark输出存储到rdbms数据库?_Apache Spark - Fatal编程技术网

Apache spark 如何将spark输出存储到rdbms数据库?

Apache spark 如何将spark输出存储到rdbms数据库?,apache-spark,Apache Spark,我最近开始使用spark,我有一个用例,需要处理文件并存储postgre数据库的输出。我能够读取文件并对其进行处理,但无法将处理后的数据存储到数据库中。有人能建议我如何将输出保存到db吗 谢谢,,,如果可以从“所有工作人员”节点访问数据库,则可以使用foreachPartition保存输出。伪代码: rdd.foreachPartition { records => // Connect to the database records.foreach { r =>

我最近开始使用spark,我有一个用例,需要处理文件并存储postgre数据库的输出。我能够读取文件并对其进行处理,但无法将处理后的数据存储到数据库中。有人能建议我如何将输出保存到db吗


谢谢,,,

如果可以从“所有工作人员”节点访问数据库,则可以使用
foreachPartition
保存输出。伪代码:

rdd.foreachPartition { records =>
  // Connect to the database 
  records.foreach { r => 
    // Loop over records and save
  }
  // Close the connection to the db
}