完成时使用python线程池关闭资源

完成时使用python线程池关闭资源,python,multiprocessing,pathos,Python,Multiprocessing,Pathos,我有一个脚本,它使用pathos ProcessPool在多个数据点上并行执行函数data() 名为data()的函数计算结果,并将结果发送到名为数据库的单个对象中。由于向数据库发送了大量推送,因此我添加了一个简单的队列,当队列大小大于500时,它将被推送到数据库中 当所有数据点都已映射,但类数据库队列中仍有一些数据时,就会出现问题(在每个进程中,进程1可能有100个,进程2可能有200个) 我编写了一个函数来在退出时刷新,但是如何在所有进程上调用该函数呢?在多处理中有一个管理器,让您可以一次性

我有一个脚本,它使用pathos ProcessPool在多个数据点上并行执行函数
data()

名为
data()
的函数计算结果,并将结果发送到名为
数据库的单个对象中。由于向数据库发送了大量推送,因此我添加了一个简单的队列,当队列大小大于500时,它将被推送到数据库中

当所有数据点都已映射,但类
数据库
队列中仍有一些数据时,就会出现问题(在每个进程中,进程1可能有100个,进程2可能有200个)


我编写了一个函数来在退出时刷新,但是如何在所有进程上调用该函数呢?

在多处理中有一个
管理器,让您可以一次性访问进程存储的数据,而不是使用队列

你可以读到它