使用copy_reg和joblib并行化Python代码
我是python新手,对并行代码更是新手。我正在编写一个更大的脚本,但我试图简化这个问题。我正在使用joblib和copy_reg。执行脚本时,我没有收到所需的输出使用copy_reg和joblib并行化Python代码,python,parallel-processing,joblib,Python,Parallel Processing,Joblib,我是python新手,对并行代码更是新手。我正在编写一个更大的脚本,但我试图简化这个问题。我正在使用joblib和copy_reg。执行脚本时,我没有收到所需的输出 p0...p1 但我收到的却是: ('p', <__main__.APR instance at 0x2dc9ea8>) ('p',) ('p',) 我真的很感激任何帮助 #!/usr/bin/env python2 from joblib import Parallel, delayed import co
p0...p1
但我收到的却是:
('p', <__main__.APR instance at 0x2dc9ea8>)
('p',)
('p',)
我真的很感激任何帮助
#!/usr/bin/env python2
from joblib import Parallel, delayed
import copy_reg
import types
import multiprocessing
print'You are running python version', (sys.version)
if float('.'.join(((sys.version).split()[0]).split('.')[0:2]))<2.7:
print('Error: APR requires Python 2.7')
sys.exit()
def _pickle_method(method):
func_name = method.im_func.__name__
obj = method.im_self
cls = method.im_class
return _unpickle_method, (func_name, obj, cls)
def _unpickle_method(func_name, obj, cls):
for cls in cls.mro():
try:
func = cls.__dict__[func_name]
except KeyError:
pass
else:
break
return func.__get__(obj, cls)
class APR:
def __init__(self):
print('')
def equilibrate(window, prefix):
prefix='p'
print('p', window)
return
copy_reg.pickle(types.MethodType, _pickle_method, _unpickle_method)
windows=range(10)
if __name__ == "__main__":
this=APR()
num_cores = multiprocessing.cpu_count()
results = Parallel(n_jobs=num_cores)(delayed(this.equilibrate)(window) for window in windows)
#/usr/bin/env蟒蛇2
从joblib并行导入,延迟
导入副本
导入类型
导入多处理
打印“您正在运行python版本”(sys.version)
如果浮点('.'.join(((sys.version.split()[0]).split('.')[0:2]),此错误与并行化无关。您只在\uuuu init\uuuuu
内部局部定义了均衡
,而不是类作用域。谢谢,我更正了这篇文章。成员函数的第一个参数是类实例self
,在您的例子中,它被分配给窗口
。正确的定义应该是def balancerate(self,window,prefix)
,或者可以简单地定义def balancerate(self,window)
,因为没有使用prefix
参数。
#!/usr/bin/env python2
from joblib import Parallel, delayed
import copy_reg
import types
import multiprocessing
print'You are running python version', (sys.version)
if float('.'.join(((sys.version).split()[0]).split('.')[0:2]))<2.7:
print('Error: APR requires Python 2.7')
sys.exit()
def _pickle_method(method):
func_name = method.im_func.__name__
obj = method.im_self
cls = method.im_class
return _unpickle_method, (func_name, obj, cls)
def _unpickle_method(func_name, obj, cls):
for cls in cls.mro():
try:
func = cls.__dict__[func_name]
except KeyError:
pass
else:
break
return func.__get__(obj, cls)
class APR:
def __init__(self):
print('')
def equilibrate(window, prefix):
prefix='p'
print('p', window)
return
copy_reg.pickle(types.MethodType, _pickle_method, _unpickle_method)
windows=range(10)
if __name__ == "__main__":
this=APR()
num_cores = multiprocessing.cpu_count()
results = Parallel(n_jobs=num_cores)(delayed(this.equilibrate)(window) for window in windows)