在某些post任务/步骤完成之前锁定dask工作人员的能力

在某些post任务/步骤完成之前锁定dask工作人员的能力,dask,dask-distributed,Dask,Dask Distributed,正在尝试将任务提交给工作人员并返回结果。然而,我们需要对工作进程执行垃圾收集,以避免现有任务中的内存积累。希望执行gc异步并从工作者返回值,但避免工作者在gc完成之前拾取新任务 查看分布式。锁定一点,但不确定这是否有帮助。还想知道secede()是否有帮助。Python进程定期调用gc.collect。通常不需要手动调用它 如果需要,可以调用client.run(gc.collect)在所有Dask工作进程上运行此函数

正在尝试将任务提交给工作人员并返回结果。然而,我们需要对工作进程执行垃圾收集,以避免现有任务中的内存积累。希望执行gc异步并从工作者返回值,但避免工作者在gc完成之前拾取新任务


查看分布式。锁定一点,但不确定这是否有帮助。还想知道secede()是否有帮助。

Python进程定期调用
gc.collect
。通常不需要手动调用它

如果需要,可以调用
client.run(gc.collect)
在所有Dask工作进程上运行此函数