我正在制作Sparkyr。试图将我的数据写入postgresql,但这需要很长时间

我正在制作Sparkyr。试图将我的数据写入postgresql,但这需要很长时间,r,sparklyr,R,Sparklyr,我的配置: config = spark_config() config$`sparklyr.cores.local` <- 3 config$`sparklyr.shell.driver-memory` <- "10G" config$`spark.yarn.executor.memory.overhead` <- "512mb" sc = spark_connect(master = "local", config = config) 我可能有大约4000万行 spark

我的配置:

config = spark_config()
config$`sparklyr.cores.local` <- 3
config$`sparklyr.shell.driver-memory` <- "10G"
config$`spark.yarn.executor.memory.overhead` <- "512mb"
sc = spark_connect(master = "local", config = config)
我可能有大约4000万行

spark_write_jdbc(final, name = "test",
                              options = list(url = "jdbc:postgresql://172.XXX.X.XXX/test",
                                             user = "xxxx",
                                             password = "xxxx",
                                            memory = FALSE ))