Python 多处理:池:等待所有结果,但立即处理单个结果
我有一个要分发给池中工人的任务列表。我想实现两件事:Python 多处理:池:等待所有结果,但立即处理单个结果,python,Python,我有一个要分发给池中工人的任务列表。我想实现两件事: 每当工作人员完成时,立即处理结果 有一个简单的方法等待所有工人完成 使用fapply_async,我可以轻松实现第一个目标。每当工作进程完成时,就会调用回调。然而,为了实现第二个目标,我能想到的唯一解决方案基本上就是轮询AsyncResults,直到它们都准备好() 使用map_async,我可以轻松实现第二个目标。但是,回调只在所有工作人员完成后调用一次。我相信我理解原因(结果的顺序是相关的) 我是否缺少一些既能实现目标1又能实现目标2的解
#!/usr/bin/python3
import multiprocessing
import time
import random
def worker(src):
time.sleep(0.2)
# src is apply_async or map_async
return (src, random.randint(1, 100))
def map_async_example():
tasks = ['map_async'] * 20
with multiprocessing.Pool(processes=4) as pool:
r = pool.map_async(worker, tasks, callback=print)
r.wait()
def fapply_async_example():
tasks = [('fapply_async',)] * 20
with multiprocessing.Pool(processes=4) as pool:
ars = []
for t in tasks:
ar = pool.apply_async(worker, t, callback=print)
ars.append(ar)
# Wait for all AsyncResults to become ready()
while len(ars) > 0:
time.sleep(0.5)
# Keep only the not-ready results
ars = [ar for ar in ars if not ar.ready()]
def main():
# One list of 20 results
print('===============')
print('Using map_async')
print('===============')
map_async_example()
# 20 results
print('==================')
print('Using fapply_async')
print('==================')
fapply_async_example()
if __name__ == '__main__':
main()
也许我遗漏了一些东西,但为什么不直接进行处理,然后在最后全部完成呢?是的,就是这样。谢谢我误解了对close()进行必要的先前调用的效果,因此我没有尝试这样做。