如何在Python3中实现iterable消费多进程池

如何在Python3中实现iterable消费多进程池,python,networking,queue,python-multiprocessing,pool,Python,Networking,Queue,Python Multiprocessing,Pool,为了使并行网络变得复杂,我需要使用一个工作进程池。因此,每个worker都必须用自己的会话对象初始化(在init阶段将一次性实例化),这样它就可以以传输方式登录到其他对象。主进程必须读取一个文件,并将我需要的所有任务放入队列对象中 队列在池中共享。一旦队列为空且所有工作完成,每个进程都会向父进程返回一个列表对象 第一步是找到基线。我从以下代码开始: from multiprocessing import Process, Queue def init: session = login

为了使并行网络变得复杂,我需要使用一个工作进程池。因此,每个worker都必须用自己的会话对象初始化(在init阶段将一次性实例化),这样它就可以以传输方式登录到其他对象。主进程必须读取一个文件,并将我需要的所有任务放入队列对象中

队列在池中共享。一旦队列为空且所有工作完成,每个进程都会向父进程返回一个列表对象

第一步是找到基线。我从以下代码开始:

from multiprocessing import Process, Queue
 
def init:
    session = login()
    # every process performs a login and uses the session object to do the work in f


def f(q):
    result = list()
    # do network stuff with the session object
    return result

if __name__ == '__main__':
    f = open("task_list","w")
    tasks = f.readlines()
    q = Queue()
    for EachTask in tasks:
        q.put(EachTask)
    p = Process(target=f, args=(q,), init=init)
    p.start()
    q.join()
    # wait all tasks to finish, then combine all list objects and write them to file
那么,我应该如何编辑这段代码来完成我需要的工作呢?谢谢你

调查一下