Mysql 使用Scala JDBC上传大数据

我正在尝试实现一个功能，将大约4000万条记录上传到AWS上托管的MySQL数据库。然而，我的write语句在无限长的一段时间内一直停留在94%的水平

这是我用来上传

df_intermediate.write.mode（“append”）.jdbc（jdbcUrl，“user”，connectionProperties）

的命令，其中连接属性中启用了

rewriteBatchedStatements

和

useServerPrepsmts

此语句适用于少量点数（50000），但无法处理如此大的点数。我还增加了MySQL端的最大连接数

编辑：我在GCP n1-standard-16机器上运行这个

---

为什么写操作一直停留在94%？

我不认为这与Scala有任何关系。实际上，你只是说你想在数据库中添加很多行。快速的答案是不要在一个事务中包含所有这些，并且一次提交100个。首先在非生产sql数据库上尝试此操作，看看是否有效