Python多处理问题

Python多处理问题,python,multithreading,multiprocessing,Python,Multithreading,Multiprocessing,试图想出最好的方法来编码2个必须并行运行的进程。我甚至不确定多处理是否是首选模块 我使用dataCollector在很长一段时间内生成了大量数据,但我希望在dataCollector继续运行时使用dataChecker定期检查数据。在我的脑海中,有2个重要的时间,我认为,一个数据记录器转储文件A开始写另一个的时间,这是DATACHECKER将开始分析被丢弃的文件的时间,和两个,DATAECECK完成的时间,并且开始再次等待数据集结器。p> 有人能推荐一个多处理模块的概要吗?我应该使用不同的模块吗

试图想出最好的方法来编码2个必须并行运行的进程。我甚至不确定多处理是否是首选模块

我使用dataCollector在很长一段时间内生成了大量数据,但我希望在dataCollector继续运行时使用dataChecker定期检查数据。在我的脑海中,有2个重要的时间,我认为,一个数据记录器转储文件A开始写另一个的时间,这是DATACHECKER将开始分析被丢弃的文件的时间,和两个,DATAECECK完成的时间,并且开始再次等待数据集结器。p>
有人能推荐一个多处理模块的概要吗?我应该使用不同的模块吗?谢谢

您为什么要使用任何模块?这很容易做到,因为有两个单独的进程同时启动。dataChecker将列出目录中的所有文件,对它们进行计数,并在短时间内(几秒钟或更长时间)休眠。然后它会再次这样做,如果文件数量发生变化,它会打开新的文件,读取并处理它们


这两个进程的同步将完全通过邮箱完成,邮箱作为一个包含文件的目录来实现。只有当数据采集器开始写入新消息时才会收到消息。

这听起来太复杂了。为什么不直接将dataCollector导入dataChecker,并在有数据要检查时将其写入标准输出?我认为这样更简单。为什么要通过让流程相互了解来增加代码复杂性?这个答案是绝对正确的,检查者关心的是数据可用性,而不是收集器的状态,收集器根本不关心检查者。