Python 肉馅和章鱼的替代品

简单地说，octopy和mincemeatpy是map-reduce（轻量级）的python实现，客户端可以临时加入集群，而无需任何安装（当然，python除外）。以下是项目的详细信息和详细信息

问题是它们需要将整个数据保存在内存中（包括中间键值对）。因此，即使对于中等大小的数据，它们也会抛出内存不足异常

我使用它们的主要原因是：

蟒蛇

无需安装群集

我只是一个原型，一旦我准备好了，我就可以直接移植算法 所以我的问题是：有没有处理相同内容的包，而不仅仅是内存（可以处理中等大小的数据）

试试看。它在您自己的机器上运行，但在多个进程上运行-因此您不需要构建主节点体系结构，并且它有大量的运行程序，例如，它似乎将映射数据存储到临时文件，然后再将其减少