Warning: file_get_contents(/data/phpspider/zhask/data//catemap/1/php/261.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
大量记录(约40000条)通过php、mysql脚本插入mysql_Php_Mysql_Sql - Fatal编程技术网

大量记录(约40000条)通过php、mysql脚本插入mysql

大量记录(约40000条)通过php、mysql脚本插入mysql,php,mysql,sql,Php,Mysql,Sql,我在csv文件中有大量记录(大约40000条)要更新到数据库表中 我知道如何编写代码(PHP)来更新记录,但我担心数据量太大 如何处理一次更新大量记录的问题?循环浏览csv文件中的所有行。将每一行解析为不同的变量以更新数据库。使用普通的SQL调用 唯一不同的是,您可能需要添加set\u time\u limit(0)位于文件的最顶端。这将防止PHP超时。遵循某种分布式处理流程。有一个分发线程和多个工作线程。分发线程可以从csv文件中读取数据,将工作分配给工作池中的空闲工作线程。您可以限制线程池大

我在csv文件中有大量记录(大约40000条)要更新到数据库表中

我知道如何编写代码(PHP)来更新记录,但我担心数据量太大


如何处理一次更新大量记录的问题?

循环浏览csv文件中的所有行。将每一行解析为不同的变量以更新数据库。使用普通的SQL调用


唯一不同的是,您可能需要添加
set\u time\u limit(0)位于文件的最顶端。这将防止PHP超时。

遵循某种分布式处理流程。有一个分发线程和多个工作线程。分发线程可以从csv文件中读取数据,将工作分配给工作池中的空闲工作线程。您可以限制线程池大小,平衡性能和资源使用。您已经说过,您知道如何进行更新,因此工作线程代码是可以理解的。:)希望这对您有所帮助

您可以使用它。也许对你有帮助

LOAD DATA INFILE 'data.csv' INTO TABLE my_table;


LOAD DATA INFILE 'data.txt' INTO TABLE table2
FIELDS TERMINATED BY '\t';

我刚刚在一个表中插入了约300000行。这不需要太多时间。尝试使用HeidiSQL的表/数据库管理器。