Python 多处理内存限制

Python 多处理内存限制,python,memory,multiprocessing,shared-memory,Python,Memory,Multiprocessing,Shared Memory,有谁能告诉我们什么是多重处理所能达到的最高内存吗? 我遇到了一个问题,当我运行一个大小约为40 Gb的数组的程序时,multiprocessing.Queue返回以下错误,从而导致多处理.Queue失败。相同的程序适用于较小的阵列: Traceback (most recent call last): File "/usr/lib/python2.7/multiprocessing/queues.py", line 266, in _feed send(obj) SystemErro

有谁能告诉我们什么是多重处理所能达到的最高内存吗? 我遇到了一个问题,当我运行一个大小约为40 Gb的数组的程序时,multiprocessing.Queue返回以下错误,从而导致多处理.Queue失败。相同的程序适用于较小的阵列:

Traceback (most recent call last):
  File "/usr/lib/python2.7/multiprocessing/queues.py", line 266, in _feed
    send(obj)
SystemError: NULL result without error in PyObject_Call
那么,任何人都可以分享一些关于海量数据限制的信息吗


谢谢

在程序运行期间,您是否监控了计算机的内存使用情况?你观察到了什么?是的,我有64Gb的RAM,当我给出像尺寸为1000**3的数组这样的大数据时,它给出了上面的错误,但对于较小的数组来说效果很好。您可以在这里找到一个示例,大小为40GB的阵列?那太大了。通过队列发送的对象将被序列化和反序列化,在此过程中,内存使用量将翻倍,至少占用80GB。好的,对于20Gb的数据也不起作用。你能告诉我关于什么东西太大的信息吗?为什么不做一个蛮力网格搜索来找出什么时候太多就是太多?