在PHP中处理内存中的数据

我正在编写一个PHP框架，可以用来可视化大量数据。我无法将所有数据提取到内存中并进行处理（如排序、筛选等）。因此，我有一个sql查询生成器，它构造sql查询并将所有处理部分推送到sql server。有没有一种方法可以用PHP实现？或者是否有某种C库可用，它以二进制形式存储数据并减少处理过程中的内存使用？

是Zend_Db和Zend Framework的一部分，允许您通过推送和修改部分内容，以编程方式创建查询（您提到的查询生成器）

我大量使用PHPExcel中的缓存引擎（使用APC、对象序列化、，php://temp，磁盘存储，内存中的SQLite，memcache和其他选项），可以处理大量（数百万）单元对象。问题是通过尽可能多地利用php有限的内存来减少内存开销，同时尽量保持合理的执行速度：任何在php内存之外存储数据的单元缓存都会增加执行速度开销

使用igbinary序列化数据是一个很好的折衷方案，但仍然可以达到内存限制。它的速度与PHP内置的serialize差不多，但在压缩数据方面效率更高

---

我想说的是尽可能多地使用数据库，因为数据库是为这类工作而设计的。

我现在有类似的工作要做，这将所有处理推送到sql server。我正在寻找一些可以在sql server之外处理数据的东西