Python 具有常数和可数变元函数的多重处理

嗨，stackoverflow用户

我试图查找这个问题，但找不到答案：我基本上喜欢并行处理函数（独立进程！），函数有一个可数（

x

）和几个常量参数（

k

，

d

）。下面是一个非常简单的示例：

from multiprocessing import *

def test_function(args):
    k = args[0]
    d = args[1]
    x = args[2]
    del args

    return k*x + d

if __name__ == '__main__':
    pool = Pool(processes=2)

    k = 3.
    d = 5.

    constants = [k,d]
    xvalues = range(0,10)
    result = [pool.apply_async(test_function, constants.append(i)) for i in xvalues]

    output = [r.get() for r in result]

    print output
    #I expect [5.0, 8.0, 11.0, 14.0, 17.0, 20.0, 23.0, 26.0, 29.0, 32.0]

这会给我以下错误消息：

Traceback (most recent call last):
  File "test_function.py", line 23, in <module>
    output = [r.get() for r in result]
  File "C:\Program Files\Python2.7\lib\multiprocessing\pool.py", line 528, in get
    raise self._value
TypeError: test_function() argument after * must be a sequence, not NoneType

回溯（最近一次呼叫最后一次）：
文件“test_function.py”，第23行，在
输出=[r.get（）表示结果中的r]
get中第528行的文件“C:\Program Files\Python2.7\lib\multiprocessing\pool.py”
提升自我价值
TypeError:*后面的test_function（）参数必须是序列，而不是非非类型

因此，我的问题是：

这个错误消息实际上是什么意思

如何修复它以获得预期的结果（参见代码示例的最后一行）

对于调用apply\u sync的线路，是否有更好的/有效的/优雅的方式

仅供参考：我是python新手，请耐心等待，如果我的帖子需要更多细节，请告诉我

谢谢你的建议

constants.append（i）返回None，您应该首先附加值，然后使用

constants

作为第二个参数

>>> constants = []
>>> i = 2
>>> bug_value = constants.append(i)
>>> constants
[2]
>>> bug_value is None
True
>>> 

使用

result=[pool.apply_async（test_函数，常量+[i]）表示xvalues中的i]

list+list追加两个列表并返回结果列表。

常量。append（i）不返回任何值，您应该首先追加值，然后使用

常量作为第二个参数

>>> constants = []
>>> i = 2
>>> bug_value = constants.append(i)
>>> constants
[2]
>>> bug_value is None
True
>>> 

使用
result=[pool.apply_async（test_函数，常量+[i]）表示xvalues中的i]

list+list附加两个列表并返回结果列表

这个错误消息实际上是什么意思

append
方法返回的值总是
None
，因此在执行以下操作时：

pool.apply_async(test_function, constants.append(i))

您正在调用
pool.apply_asynch
和
None
作为
args
参数，但是
apply_asynch
需要一个iterable作为参数。
apply\u asynch
正在执行的操作称为

如何修复它以获得预期的结果

要获得预期的输出，只需将
i
连接到常数：

pool.apply_asynch(test_function, (constants + [i],))

打电话的线路有更好的/有效的/优雅的方式吗
应用同步

请注意，您必须将所有参数包装到一个元素元组中，因为您的
test\u函数
只接受一个参数。
您可以通过以下方式对其进行修改：

def test_function(k, d, x):
    # etc

并简单地使用：

pool.apply_asynch(test_function, constants + [i])

将使用
tuple
-unpacking自动将
参数解包到函数的三个参数中。（仔细阅读
Pool.apply
和friends的文档）


打电话的线路有更好的/有效的/优雅的方式吗
应用同步

正如Silas所指出的，不要使用
Pool.apply\u asynch
到一个值列表，您应该使用or
Pool.map\u asynch
方法，这些方法可以为您做到这一点

例如：

results = pool.map(test_function, [(constants + [i],) for i in xvalues])

但是请注意，在这种情况下，
test\u函数
必须接受单个参数，因此您必须手动解压缩常量和
x
，就像您在问题中所做的那样


此外，作为一般性建议：


在
test_函数中
绝对不需要执行
delargs
。它只会降低函数的执行速度（非常小的幅度）。仅在需要时，谨慎使用
del
您可以使用以下语法，而不是手动指定元组中的元素：

k, d, x = args

这相当于（可能稍微慢一点）：


使用
多处理
调用如此简单的函数会大大降低速度。通信和同步进程的成本相当大，因此您必须避免调用简单函数，并尽可能尝试“分块”工作（例如，不是单独发送每个请求，而是在单个参数中向工作进程发送100个请求的列表）

这个错误消息实际上是什么意思

append
方法返回的值总是
None
，因此在执行以下操作时：

pool.apply_async(test_function, constants.append(i))

您正在调用
pool.apply_asynch
和
None
作为
args
参数，但是
apply_asynch
需要一个iterable作为参数。
apply\u asynch
正在执行的操作称为

如何修复它以获得预期的结果

要获得预期的输出，只需将
i
连接到常数：

pool.apply_asynch(test_function, (constants + [i],))

打电话的线路有更好的/有效的/优雅的方式吗
应用同步

请注意，您必须将所有参数包装到一个元素元组中，因为您的
test\u函数
只接受一个参数。
您可以通过以下方式对其进行修改：

def test_function(k, d, x):
    # etc

并简单地使用：

pool.apply_asynch(test_function, constants + [i])

将使用
tuple
-unpacking自动将
参数解包到函数的三个参数中。（仔细阅读
Pool.apply
和friends的文档）


打电话的线路有更好的/有效的/优雅的方式吗
应用同步

正如Silas所指出的，不要使用
Pool.apply\u asynch
到一个值列表，您应该使用or
Pool.map\u asynch
方法，这些方法可以为您做到这一点

例如：

results = pool.map(test_function, [(constants + [i],) for i in xvalues])

但是请注意，在这种情况下，
test\u函数
必须接受单个参数，因此您必须手动解压缩常量和
x
，就像您在问题中所做的那样


此外，作为一般性建议：


在
test_函数中
绝对不需要执行
delargs
。它只会降低函数的执行速度（非常小的幅度）。仅在需要时，谨慎使用
del
您可以使用以下语法，而不是手动指定元组中的元素：

k, d, x = args

W