Python pandas.read\u sql处理速度

我需要将MySQL查询的结果集作为数据帧进行进一步处理。SQL表包含大约200万行和12列（数据大小=180 MiB）。 我正在运行带有8GB内存的OSX10.9。返回数据帧需要20秒以上是正常的吗？如何实现中的块大小选项

编辑： Python 2.7.6， pandas 0.13.1

显示

read\u sql（）

/

read\u sql\u query（）

读取一个文件的时间大约是

read\u hdf（）

的10倍，是

read\u csv（）

的3倍

---

read\u sql（）

现在有一个chunk size参数（请参阅）

您可以在查询中使用

LIMIT

语句实现chunk size。一个（非免费）解决方案是使用。。。atm SQL读取速度很慢，因为它在读取时使用临时python对象（而不是直接读取numpy）。谢谢你的提示。从0.15开始，

to_sql

有一个

chunksize

选项（0.15仍在开发中，但该功能已在master中合并）顺便说一句，使用

chunksize

并不会真正加快速度，但它可以防止遇到数据包大小限制或连接超时。正如joris在上面的评论中提到的，是的，它对执行没有帮助。在这里，他需要减少执行时间