Apache spark 有没有一种方法可以使用特定的批处理大小写入数据库?
我正在运行下面的代码,它工作正常,但速度非常慢。我认为写块的默认大小是1000条记录。我想把这个数字增加到500000个记录块。我对此做了一些研究,似乎这是可以做到的,但我没有看到任何示例代码能够满足我的要求,我所有修改此代码的尝试都失败了Apache spark 有没有一种方法可以使用特定的批处理大小写入数据库?,apache-spark,pyspark,apache-spark-sql,spark-streaming,Apache Spark,Pyspark,Apache Spark Sql,Spark Streaming,我正在运行下面的代码,它工作正常,但速度非常慢。我认为写块的默认大小是1000条记录。我想把这个数字增加到500000个记录块。我对此做了一些研究,似乎这是可以做到的,但我没有看到任何示例代码能够满足我的要求,我所有修改此代码的尝试都失败了 url = "jdbc:sqlserver://server_name.database.windows.net:1433;databaseName=db_name" props = {"user": "usr","password": "pwd"} d
url = "jdbc:sqlserver://server_name.database.windows.net:1433;databaseName=db_name"
props = {"user": "usr","password": "pwd"}
df.write.mode('append').jdbc(url,"dbo.table_name",properties=props)
props={“user”:“usr”,“password”:“pwd”,“batchsize”:“500000”}