Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/laravel/11.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark 有没有一种方法可以使用特定的批处理大小写入数据库?_Apache Spark_Pyspark_Apache Spark Sql_Spark Streaming - Fatal编程技术网

Apache spark 有没有一种方法可以使用特定的批处理大小写入数据库?

Apache spark 有没有一种方法可以使用特定的批处理大小写入数据库?,apache-spark,pyspark,apache-spark-sql,spark-streaming,Apache Spark,Pyspark,Apache Spark Sql,Spark Streaming,我正在运行下面的代码,它工作正常,但速度非常慢。我认为写块的默认大小是1000条记录。我想把这个数字增加到500000个记录块。我对此做了一些研究,似乎这是可以做到的,但我没有看到任何示例代码能够满足我的要求,我所有修改此代码的尝试都失败了 url = "jdbc:sqlserver://server_name.database.windows.net:1433;databaseName=db_name" props = {"user": "usr","password": "pwd"} d

我正在运行下面的代码,它工作正常,但速度非常慢。我认为写块的默认大小是1000条记录。我想把这个数字增加到500000个记录块。我对此做了一些研究,似乎这是可以做到的,但我没有看到任何示例代码能够满足我的要求,我所有修改此代码的尝试都失败了

url = "jdbc:sqlserver://server_name.database.windows.net:1433;databaseName=db_name"
props = {"user": "usr","password": "pwd"}


df.write.mode('append').jdbc(url,"dbo.table_name",properties=props)
props={“user”:“usr”,“password”:“pwd”,“batchsize”:“500000”}