Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/python/326.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Python 多处理:池:等待所有结果,但立即处理单个结果_Python - Fatal编程技术网

Python 多处理:池:等待所有结果,但立即处理单个结果

Python 多处理:池:等待所有结果,但立即处理单个结果,python,Python,我有一个要分发给池中工人的任务列表。我想实现两件事: 每当工作人员完成时,立即处理结果 有一个简单的方法等待所有工人完成 使用fapply_async,我可以轻松实现第一个目标。每当工作进程完成时,就会调用回调。然而,为了实现第二个目标,我能想到的唯一解决方案基本上就是轮询AsyncResults,直到它们都准备好() 使用map_async,我可以轻松实现第二个目标。但是,回调只在所有工作人员完成后调用一次。我相信我理解原因(结果的顺序是相关的) 我是否缺少一些既能实现目标1又能实现目标2的解

我有一个要分发给池中工人的任务列表。我想实现两件事:

  • 每当工作人员完成时,立即处理结果
  • 有一个简单的方法等待所有工人完成
  • 使用fapply_async,我可以轻松实现第一个目标。每当工作进程完成时,就会调用回调。然而,为了实现第二个目标,我能想到的唯一解决方案基本上就是轮询AsyncResults,直到它们都准备好()

    使用map_async,我可以轻松实现第二个目标。但是,回调只在所有工作人员完成后调用一次。我相信我理解原因(结果的顺序是相关的)

    我是否缺少一些既能实现目标1又能实现目标2的解决方案

    以下是我的测试代码:

    #!/usr/bin/python3
    
    import multiprocessing
    import time
    import random
    
    def worker(src):
        time.sleep(0.2)
        # src is apply_async or map_async
        return (src, random.randint(1, 100))
    
    def map_async_example():
        tasks = ['map_async'] * 20
        with multiprocessing.Pool(processes=4) as pool:
            r = pool.map_async(worker, tasks, callback=print)
            r.wait()
    
    def fapply_async_example():
        tasks = [('fapply_async',)] * 20
        with multiprocessing.Pool(processes=4) as pool:
            ars = []
            for t in tasks:
                ar = pool.apply_async(worker, t, callback=print)
                ars.append(ar)
            # Wait for all AsyncResults to become ready()
            while len(ars) > 0:
                time.sleep(0.5)
                # Keep only the not-ready results
                ars = [ar for ar in ars if not ar.ready()]
    
    def main():
        # One list of 20 results
        print('===============')
        print('Using map_async')
        print('===============')
        map_async_example()
    
        # 20 results
        print('==================')
        print('Using fapply_async')
        print('==================')
        fapply_async_example()
    
    if __name__ == '__main__':
        main()
    

    也许我遗漏了一些东西,但为什么不直接进行处理,然后在最后全部完成呢?

    是的,就是这样。谢谢我误解了对close()进行必要的先前调用的效果,因此我没有尝试这样做。