如何在Python3中实现iterable消费多进程池
为了使并行网络变得复杂,我需要使用一个工作进程池。因此,每个worker都必须用自己的会话对象初始化(在init阶段将一次性实例化),这样它就可以以传输方式登录到其他对象。主进程必须读取一个文件,并将我需要的所有任务放入队列对象中 队列在池中共享。一旦队列为空且所有工作完成,每个进程都会向父进程返回一个列表对象 第一步是找到基线。我从以下代码开始:如何在Python3中实现iterable消费多进程池,python,networking,queue,python-multiprocessing,pool,Python,Networking,Queue,Python Multiprocessing,Pool,为了使并行网络变得复杂,我需要使用一个工作进程池。因此,每个worker都必须用自己的会话对象初始化(在init阶段将一次性实例化),这样它就可以以传输方式登录到其他对象。主进程必须读取一个文件,并将我需要的所有任务放入队列对象中 队列在池中共享。一旦队列为空且所有工作完成,每个进程都会向父进程返回一个列表对象 第一步是找到基线。我从以下代码开始: from multiprocessing import Process, Queue def init: session = login
from multiprocessing import Process, Queue
def init:
session = login()
# every process performs a login and uses the session object to do the work in f
def f(q):
result = list()
# do network stuff with the session object
return result
if __name__ == '__main__':
f = open("task_list","w")
tasks = f.readlines()
q = Queue()
for EachTask in tasks:
q.put(EachTask)
p = Process(target=f, args=(q,), init=init)
p.start()
q.join()
# wait all tasks to finish, then combine all list objects and write them to file
那么,我应该如何编辑这段代码来完成我需要的工作呢?谢谢你调查一下