python中的多处理

我的问题可能很模糊。我正在寻找一些合理的方法来完成我的任务。 我开发了一个网页，用户在其中上传一个文件，作为我用python开发的代码的输入文件

当输入文件通过网页提交时，它会保存在一个临时文件夹中，守护进程会将其复制到另一个位置。我想要的是定期查找文件夹中的文件（可以编写守护进程），如果它找到多个文件，它会将代码作为单独的作业运行，在目录中找到的输入文件限制为最多5个进程同时运行，并且当一个进程完成时，如果文件夹中有文件，它会启动下一个进程（按时间顺序）

---

我知道python中的多处理，但不知道如何实现以实现我想要的，或者我应该使用XGrid之类的工具来管理我的作业。代码通常需要几个小时到几天来完成一项作业。但是作业彼此独立。

我使用SQL表来执行这样的操作，因为我的用户可能会启动几十个任务如果我不限制任务，则将它们组合在一起

当新文件出现时，守护进程会将其名称写入表中（包括所有其他信息，如大小、日期、时间、用户等）

然后，另一个守护进程正在读取表，获取第一个未执行的任务，执行它，并将其标记为已执行。当发现什么也没做时，它只需再等待一分钟左右

---

此表也是已执行作业的日志，也可能包含结果。您可以从中获得平均值。

我使用SQL表来执行此操作，因为如果我不限制，我的用户可能会一起启动数十个任务

当新文件出现时，守护进程会将其名称写入表中（包括所有其他信息，如大小、日期、时间、用户等）

然后，另一个守护进程正在读取表，获取第一个未执行的任务，执行它，并将其标记为已执行。当发现什么也没做时，它只需再等待一分钟左右

---

此表也是执行作业的日志，也可能包含结果。您可以从中获得平均值。

我认为您不需要在Python中进行多处理，而只是同时生成各种Python进程，不是吗？我认为不适合问一个问题，其要点是“我如何完成此常规编程任务？”如果您想帮助您学习如何执行一般编程任务，请从挂断的内容开始问一系列具体问题。请注意，这要求您首先阅读文档并尝试从代码开始。当您挂断某个特定的内容时，请问该特定的问题。我有一个代码，可以从命令行运行它以inputfile作为参数。在我尝试编写代码来完成我的工作之前，我需要一些指导和指导。我还想确定我的思路是否正确。我认为你不需要在Python中进行多处理，而只需要并发生成各种Python进程，不是吗？我认为问一个问题是不合适的谁的要点是“我如何完成这个通用编程任务？”如果您想帮助您学习如何执行一般编程任务，请从挂断的内容开始问一系列具体问题。请注意，这要求您首先阅读文档并尝试从代码开始。当您挂断某个特定的内容时，请问该特定的问题。我有一个代码，可以从命令行运行它以inputfile作为参数。在我尝试编写代码来完成我的工作之前，我需要一些指导和指导。我还想确定我的思路是否正确。谢谢你的建议。我有一个mysql表，其中包含有关作业的信息。我可以添加一列来存储作业状态，以监视我的作业。你的帮助非常感谢。感谢您的建议。我有一个mysql表，其中包含有关作业的信息。我可以添加一个列来存储作业状态以监视我的作业。非常感谢您的帮助。