Warning: file_get_contents(/data/phpspider/zhask/data//catemap/8/mysql/71.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Mysql Magento使用csv数据流导入客户(700k)太慢_Mysql_Web Services_Api_Magento_Csv - Fatal编程技术网

Mysql Magento使用csv数据流导入客户(700k)太慢

Mysql Magento使用csv数据流导入客户(700k)太慢,mysql,web-services,api,magento,csv,Mysql,Web Services,Api,Magento,Csv,我正在建立一个Magento电子商务网站,并从旧网站导入客户资料。我正在使用CSV导入器,这个过程比我想象的要慢得多。对于一个客户来说,这几乎需要4秒钟。到目前为止,该流程已经运行了6个多小时,仅进口了3万名客户。CSV文件分为若干个~10M小的文件 现在,我正在使用AmazonWebServicesEC2实例(micro)作为开发服务器。它有1个vCPU(2.5GHz)和1GB内存。但我不认为这是个问题。我将php内存限制提高到1G 我读过一篇文章说,由于Magento的EAV数据库系统和沉重

我正在建立一个Magento电子商务网站,并从旧网站导入客户资料。我正在使用CSV导入器,这个过程比我想象的要慢得多。对于一个客户来说,这几乎需要4秒钟。到目前为止,该流程已经运行了6个多小时,仅进口了3万名客户。CSV文件分为若干个~10M小的文件

现在,我正在使用AmazonWebServicesEC2实例(micro)作为开发服务器。它有1个vCPU(2.5GHz)和1GB内存。但我不认为这是个问题。我将php内存限制提高到1G

我读过一篇文章说,由于Magento的EAV数据库系统和沉重的PHPAPI模块[],这种导入产品的速度问题非常常见。它说Magento发送450个MySQL查询以导入一个产品。我还看到了一个使用[]的变通方法,它试图绕过Magento的API,直接将数据插入MySQL表。然而,AFAIK似乎并不进口客户,只进口产品和类别。我不知道他们(产品和客户)是否使用相同的机制

我禁用了缓存管理,并将索引管理选项设置为“手动更新”。尽管客户档案并没有真正使用这些流程

您对提高CSV导入速度有什么建议吗

[跟进]

我发现了一个问题源,AmazonEC2T2实例。他们使用CPU积分来控制CPU的最大使用量。对于微型实例,基本CPU性能限制为其容量的10%。我使用了所有的CPU积分,服务器不允许我使用全部的CPU


我刚刚检查了导入性能,它每秒导入大约2条记录。我认为这还是太慢了,所以我会等待更多的其他解决方案。也许是优化?

忘掉Magmi,忘掉数据流。用最好的方法去做

使用这个:


您可以使用任何数组导入实体产品和客户

如果您需要通过csv导入更新现有产品,请仅包括您希望使用SKU更新的列。是的,sku有必填列,然后您可以包括将要更新产品属性的列。
它进口产品的速度太快了

正是我想要的。厌倦了Magmi和数据流。这在1.9.2中非常有效。谢谢你应该给你正在谈论的内容添加链接。