大量记录(约40000条)通过php、mysql脚本插入mysql
我在csv文件中有大量记录(大约40000条)要更新到数据库表中 我知道如何编写代码(PHP)来更新记录,但我担心数据量太大大量记录(约40000条)通过php、mysql脚本插入mysql,php,mysql,sql,Php,Mysql,Sql,我在csv文件中有大量记录(大约40000条)要更新到数据库表中 我知道如何编写代码(PHP)来更新记录,但我担心数据量太大 如何处理一次更新大量记录的问题?循环浏览csv文件中的所有行。将每一行解析为不同的变量以更新数据库。使用普通的SQL调用 唯一不同的是,您可能需要添加set\u time\u limit(0)位于文件的最顶端。这将防止PHP超时。遵循某种分布式处理流程。有一个分发线程和多个工作线程。分发线程可以从csv文件中读取数据,将工作分配给工作池中的空闲工作线程。您可以限制线程池大
如何处理一次更新大量记录的问题?循环浏览csv文件中的所有行。将每一行解析为不同的变量以更新数据库。使用普通的SQL调用
唯一不同的是,您可能需要添加
set\u time\u limit(0)代码>位于文件的最顶端。这将防止PHP超时。遵循某种分布式处理流程。有一个分发线程和多个工作线程。分发线程可以从csv文件中读取数据,将工作分配给工作池中的空闲工作线程。您可以限制线程池大小,平衡性能和资源使用。您已经说过,您知道如何进行更新,因此工作线程代码是可以理解的。:)希望这对您有所帮助您可以使用它。也许对你有帮助
LOAD DATA INFILE 'data.csv' INTO TABLE my_table;
LOAD DATA INFILE 'data.txt' INTO TABLE table2
FIELDS TERMINATED BY '\t';
我刚刚在一个表中插入了约300000行。这不需要太多时间。尝试使用HeidiSQL的表/数据库管理器。