Can'；t pickle<；类型'；螺纹锁紧'&燃气轮机；使用python multiprocess.pool.map_async（）时

我试图在类方法上使用

map\u async

，但出现以下错误：

PicklingError:无法pickle:属性查找线程.lock失败

我的代码：

def _pickle_method(method):
    func_name = method.im_func.__name__
    obj = method.im_self
    cls = method.im_class
    cls_name = ''
    if func_name.startswith('__') and not func_name.endswith('__'):
        cls_name = cls.__name__.lstrip('_')
    if cls_name:
        func_name = '_' + cls_name + func_name
    return _unpickle_method, (func_name, obj, cls)

def _unpickle_method(func_name, obj, cls):
    for cls in cls.mro():
        try:
            func = cls.__dict__[func_name]
        except KeyError:
            pass
        else:
            break
    return func.__get__(obj, cls)

copy_reg.pickle(types.MethodType, _pickle_method, _unpickle_method)

class MyClass(object):
    def Submit(self,cmd):
        subprocess.call(cmd, shell=True)

    def RunTest(self):
        cmds = []
        for i in range(50):
            cmd = CreateCmd(self)
            cmds.append(cmd)
        self.pool.map_async(self.Submit, cmds) 

    def Main(self):
        self.pool = mp.pool
        while True:
           RunTest(self)

if __name__ == "__main__":
    MyClass()

当

Submit

不在类中时，它可以工作，但像这样我会得到错误。

---

另外，

MyClass

还有一些我没有写的方法和属性，其中一个是日志，这可能是问题吗？

所以我用一些替代导入来构建代码，特别是

dill

而不是

pickle

。我还使用了

多处理

的分支，称为

pathos.multiprocessing

，它使用

dill

。我可以修改你的类方法和绑定方法。我忽略了你教授

copy_reg

如何pickle模块的整个部分，因为

dill

已经可以做到这一点了

我不得不对你的代码做一些修改，因为它不起作用。我还必须创建一个CreateCmd函数，因为您没有给出一个。同样，这段代码将启动多处理作业……但您永远不会得到结果，因为您不要求它们。你到底想干什么

不管怎样，这里有一些代码与您的代码类似，但很有效。它仍然不会给你任何有价值的结果，除了显示它是pickle和代码运行。请发布可以运行的代码，并将抛出您正在报告的错误

>>> import dill as pickle
>>> import subprocess 
>>> from pathos.multiprocessing import ProcessingPool as Pool
>>> 
>>> def CreateCmd(cmd):
...   return 'sleep {0}'.format(cmd)
>>>
>>> class MyClass(object):
...   def Submit(self, cmd):
...     subprocess.call(cmd, shell=True)
...   def RunTest(self):
...     cmds = []
...     for i in range(50):
...       cmd = CreateCmd(i)
...       cmds.append(cmd)
...     self.pool.amap(self.Submit, cmds) # equivalent to map_async
...   def Main(self): 
...     self.pool = Pool()
...     self.RunTest()
... 
>>> pickle.loads(pickle.dumps(MyClass))
<class '__main__.MyClass'>
>>> pickle.loads(pickle.dumps(MyClass.RunTest))
<unbound method MyClass.RunTest>
>>> x = MyClass()
>>> pickle.loads(pickle.dumps(x.RunTest))
<bound method MyClass.RunTest of <__main__.MyClass object at 0x10d015b10>>
>>> x.Main()
>>> x.Submit('sleep 1')
>>> # use get to get the result… so 'sleep' is felt by the script 
>>> res = x.pool.amap(x.Submit, (CreateCmd(i) for i in range(10)))
>>> res.get()
[None, None, None, None, None, None, None, None, None, None]

---

因此，我用一些替代导入构建了您的代码，特别是

dill

，而不是

pickle

。我还使用了

多处理

的分支，称为

pathos.multiprocessing

，它使用

dill

。我可以修改你的类方法和绑定方法。我忽略了你教授

copy_reg

如何pickle模块的整个部分，因为

dill

已经可以做到这一点了

我不得不对你的代码做一些修改，因为它不起作用。我还必须创建一个CreateCmd函数，因为您没有给出一个。同样，这段代码将启动多处理作业……但您永远不会得到结果，因为您不要求它们。你到底想干什么

不管怎样，这里有一些代码与您的代码类似，但很有效。它仍然不会给你任何有价值的结果，除了显示它是pickle和代码运行。请发布可以运行的代码，并将抛出您正在报告的错误

>>> import dill as pickle
>>> import subprocess 
>>> from pathos.multiprocessing import ProcessingPool as Pool
>>> 
>>> def CreateCmd(cmd):
...   return 'sleep {0}'.format(cmd)
>>>
>>> class MyClass(object):
...   def Submit(self, cmd):
...     subprocess.call(cmd, shell=True)
...   def RunTest(self):
...     cmds = []
...     for i in range(50):
...       cmd = CreateCmd(i)
...       cmds.append(cmd)
...     self.pool.amap(self.Submit, cmds) # equivalent to map_async
...   def Main(self): 
...     self.pool = Pool()
...     self.RunTest()
... 
>>> pickle.loads(pickle.dumps(MyClass))
<class '__main__.MyClass'>
>>> pickle.loads(pickle.dumps(MyClass.RunTest))
<unbound method MyClass.RunTest>
>>> x = MyClass()
>>> pickle.loads(pickle.dumps(x.RunTest))
<bound method MyClass.RunTest of <__main__.MyClass object at 0x10d015b10>>
>>> x.Main()
>>> x.Submit('sleep 1')
>>> # use get to get the result… so 'sleep' is felt by the script 
>>> res = x.pool.amap(x.Submit, (CreateCmd(i) for i in range(10)))
>>> res.get()
[None, None, None, None, None, None, None, None, None, None]

---

您能否使示例在遇到

PicklingError

：添加导入，调用

Main

方法之前一直运行。定义mock

cmds

。能否使示例在遇到

PicklingError

之前一直运行：添加导入，调用

Main

方法。定义模拟

cmds

。