Python多进程池。当一个辅助进程确定不再需要执行更多工作时,如何退出脚本?
所以我有一个工作进程池,可以做一些工作。它只需要找到一个解决方案。因此,当一个辅助进程找到解决方案时,我希望停止所有操作 我想到的一种方法就是调用sys.exit()。但是,由于其他进程正在运行,因此它似乎无法正常工作 另一种方法是检查每个进程调用的返回值(part_crack_helper函数的返回值)并在该进程上终止调用。但是,我不知道在使用map函数时如何做到这一点Python多进程池。当一个辅助进程确定不再需要执行更多工作时,如何退出脚本?,python,multiprocessing,pool,worker,Python,Multiprocessing,Pool,Worker,所以我有一个工作进程池,可以做一些工作。它只需要找到一个解决方案。因此,当一个辅助进程找到解决方案时,我希望停止所有操作 我想到的一种方法就是调用sys.exit()。但是,由于其他进程正在运行,因此它似乎无法正常工作 另一种方法是检查每个进程调用的返回值(part_crack_helper函数的返回值)并在该进程上终止调用。但是,我不知道在使用map函数时如何做到这一点 我应该如何实现这一点?您可以使用池中的回调。应用\u async 像这样的东西应该适合你 mp.set_start_meth
我应该如何实现这一点?您可以使用
池中的回调。应用\u async
像这样的东西应该适合你
mp.set_start_method('spawn')
total_count = Counter(0)
pool = mp.Pool(initializer=init, initargs=(total_count,), processes=num_proc)
pool.map(part_crack_helper, product(seed_str, repeat=4))
pool.close()
pool.join()
如果您可以使用另一个库,那么可以使用Pebble按以下方式解决它。此解决方案的优点是可以另外指定超时。这意味着,如果有一个成功的工作程序,或者如果该程序的时间不足,则该程序将结束:
from multiprocessing import Pool
def part_crack_helper(args):
solution = do_job(args)
if solution:
return True
else:
return False
class Worker():
def __init__(self, workers, initializer, initargs):
self.pool = Pool(processes=workers,
initializer=initializer,
initargs=initargs)
def callback(self, result):
if result:
print "Solution found! Yay!"
self.pool.terminate()
def do_job(self):
for args in product(seed_str, repeat=4):
self.pool.apply_async(part_crack_helper,
args=args,
callback=self.callback)
self.pool.close()
self.pool.join()
print "good bye"
w = Worker(num_proc, init, [total_count])
w.do_job()
查看
池。应用异步和池。终止。谢谢!。还没试过,但看起来很有希望!
from pebble import ProcessPool, ProcessExpired
from concurrent.futures import TimeoutError
import time
pool = ProcessPool()
def my_function(args):
print("running " + str(args))
time.sleep((args + 1) * 30)
print("process won:" + str(args))
return True
start_time = time.time()
future = pool.map(my_function, range(4), timeout=65)
iterator = future.result()
while True:
try:
result = next(iterator)
if result:
pool.stop()
pool.join(timeout=0)
break
except StopIteration:
break
except TimeoutError as error:
print("function took longer than %d seconds" % error.args[1])
except ProcessExpired as error:
print("%s. Exit code: %d" % (error, error.exitcode))
except Exception as error:
print("function raised %s" % error)
print(error.traceback) # Python's traceback of remote process
print("whole time: " + str(time.time() - start_time))