Numpy Python中的并行性（I）大数据块
我已经在线程和进程上苦干了一段时间，试图加快我在IPython的并行工作。我不确定我调用的函数有多少细节是有用的，所以这里有一个bash，但是询问您是否需要更多 我的函数的调用签名看起来像Numpy Python中的并行性（I）大数据块,numpy,multiprocessing,ipython,Numpy,Multiprocessing,Ipython,我已经在线程和进程上苦干了一段时间，试图加快我在IPython的并行工作。我不确定我调用的函数有多少细节是有用的，所以这里有一个bash，但是询问您是否需要更多 我的函数的调用签名看起来像 def intersplit_array(ob,er,nl,m,mi,t,ti,dmax,n0=6,steps=50): 基本上，ob、er和nl是观察值的参数，m、mi、t、ti和dmax是表示模型的参数，用于比较观察值。（n0和steps是函数的固定数值参数。）函数循环通过m中的所有模型，并使用mi中的
def intersplit_array(ob,er,nl,m,mi,t,ti,dmax,n0=6,steps=50):
obernlmmittidmaxn0stepsmmittidmaxmmidmaxparallel\u mapP = parallel_map(lambda i: intersplit_array(ob,er,nl,m[i+1],mi[i:i+2],t[i+1],ti[i:i+2],dmax[i+1],range(1,len(m)-1))
并行部分，这只是将函数逐个应用于每个元素的结果。但这比使用单个内核要慢。我猜这与全局解释器锁有关
其次，我尝试使用多处理
中的池
。我初始化了一个池
p = multiprocessing.Pool(6)
然后试图用
P = p.map(lambda i: intersplit_array(ob,er,nl,m[i+1],mi[i:i+2],t[i+1],ti[i:i+2],dmax[i+1],range(1,len(m)-1))
首先，我得到一个错误
Exception in thread Thread-3:
Traceback (most recent call last):
File "/usr/lib64/python2.7/threading.py", line 551, in __bootstrap_inner
self.run()
File "/usr/lib64/python2.7/threading.py", line 504, in run
self.__target(*self.__args, **self.__kwargs)
File "/usr/lib64/python2.7/multiprocessing/pool.py", line 319, in _handle_tasks
put(task)
PicklingError: Can't pickle <type 'function'>: attribute lookup __builtin__.function failed
线程thread-3中的异常：
回溯（最近一次呼叫最后一次）：
文件“/usr/lib64/python2.7/threading.py”，第551行，在引导程序内部
self.run（）
文件“/usr/lib64/python2.7/threading.py”，第504行，正在运行
自我目标（*自我参数，**自我参数）
文件“/usr/lib64/python2.7/multiprocessing/pool.py”，第319行，在任务处理中
放置（任务）
PicklingError:无法pickle:属性查找\内置\函数失败
topipython多处理此软件包中的功能要求子模块可以导入
\uuuuu main\uuuu多处理.Pool…如果您尝试这样做，它实际上会以半随机的方式输出交错的完整回溯，然后您可能不得不以某种方式停止主进程
最好的解决方案可能是从命令行将其作为脚本运行。或者，但我从未使用过它。你能使用m=一个700000 x 22 x 3的numpy数组，并在intersplit_array（）中对其应用矢量化的numpy操作吗？我尝试过，但IIRC给了我内存错误。我想我做的一些广播制作了太大的新阵列。这可能是一个设计缺陷，但我离开了它，因为直到最近速度才成为问题。如果中间数组太大；您可以在切片上执行计算，例如，每个大小为1000的700个切片。numpy数组应该在矢量化操作期间释放GIL，因此可以使用使用线程而不是进程的
多处理.dummy.Pool