使用copy_reg和joblib并行化Python代码

使用copy_reg和joblib并行化Python代码,python,parallel-processing,joblib,Python,Parallel Processing,Joblib,我是python新手,对并行代码更是新手。我正在编写一个更大的脚本,但我试图简化这个问题。我正在使用joblib和copy_reg。执行脚本时,我没有收到所需的输出 p0...p1 但我收到的却是: ('p', <__main__.APR instance at 0x2dc9ea8>) ('p',) ('p',) 我真的很感激任何帮助 #!/usr/bin/env python2 from joblib import Parallel, delayed import co

我是python新手,对并行代码更是新手。我正在编写一个更大的脚本,但我试图简化这个问题。我正在使用joblib和copy_reg。执行脚本时,我没有收到所需的输出

p0...p1
但我收到的却是:

('p', <__main__.APR instance at 0x2dc9ea8>)
('p',)

('p',)
我真的很感激任何帮助

#!/usr/bin/env python2

from joblib import Parallel, delayed
import copy_reg
import types
import multiprocessing

print'You are running python version', (sys.version)
if float('.'.join(((sys.version).split()[0]).split('.')[0:2]))<2.7:
  print('Error: APR requires Python 2.7')
  sys.exit()

def _pickle_method(method):
    func_name = method.im_func.__name__
    obj = method.im_self
    cls = method.im_class
    return _unpickle_method, (func_name, obj, cls)

def _unpickle_method(func_name, obj, cls):
    for cls in cls.mro():
        try:
            func = cls.__dict__[func_name]
        except KeyError:
            pass
        else:
            break
    return func.__get__(obj, cls)


class APR:
    def __init__(self):
        print('')

    def equilibrate(window, prefix):
        prefix='p' 
        print('p', window)
        return

copy_reg.pickle(types.MethodType, _pickle_method, _unpickle_method)

windows=range(10)

if __name__ == "__main__":

    this=APR()    
    num_cores = multiprocessing.cpu_count()
    results = Parallel(n_jobs=num_cores)(delayed(this.equilibrate)(window) for window in windows)
#/usr/bin/env蟒蛇2
从joblib并行导入,延迟
导入副本
导入类型
导入多处理
打印“您正在运行python版本”(sys.version)

如果浮点('.'.join(((sys.version.split()[0]).split('.')[0:2]),此错误与并行化无关。您只在
\uuuu init\uuuuu
内部局部定义了
均衡
,而不是类作用域。谢谢,我更正了这篇文章。成员函数的第一个参数是类实例
self
,在您的例子中,它被分配给
窗口
。正确的定义应该是
def balancerate(self,window,prefix)
,或者可以简单地定义
def balancerate(self,window)
,因为没有使用
prefix
参数。
#!/usr/bin/env python2

from joblib import Parallel, delayed
import copy_reg
import types
import multiprocessing

print'You are running python version', (sys.version)
if float('.'.join(((sys.version).split()[0]).split('.')[0:2]))<2.7:
  print('Error: APR requires Python 2.7')
  sys.exit()

def _pickle_method(method):
    func_name = method.im_func.__name__
    obj = method.im_self
    cls = method.im_class
    return _unpickle_method, (func_name, obj, cls)

def _unpickle_method(func_name, obj, cls):
    for cls in cls.mro():
        try:
            func = cls.__dict__[func_name]
        except KeyError:
            pass
        else:
            break
    return func.__get__(obj, cls)


class APR:
    def __init__(self):
        print('')

    def equilibrate(window, prefix):
        prefix='p' 
        print('p', window)
        return

copy_reg.pickle(types.MethodType, _pickle_method, _unpickle_method)

windows=range(10)

if __name__ == "__main__":

    this=APR()    
    num_cores = multiprocessing.cpu_count()
    results = Parallel(n_jobs=num_cores)(delayed(this.equilibrate)(window) for window in windows)