Python中的Flask多进程工作池

Python中的Flask多进程工作池,python,flask,multiprocessing,threadpool,classification,Python,Flask,Multiprocessing,Threadpool,Classification,我对做我想做的事情的最佳方式感到困惑 我有一系列的工作需要花费大量的时间来处理,所以我想在应用程序启动时初始化一大批“工人”,他们将能够在空闲时处理请求 流程分解: 在应用程序启动时创建10个分类器(工作人员),并让它们在某个地方空闲 当应用程序启动时,通过Flask POST命令发出请求 请求被传递到一个可用的分类器 分类器返回作业的结果 我该怎么做呢 编辑:值得注意的是,分类器需要花费大量的时间来启动,因此需要在工作传递给它们时可用并已经运行 class View(views.Metho

我对做我想做的事情的最佳方式感到困惑

我有一系列的工作需要花费大量的时间来处理,所以我想在应用程序启动时初始化一大批“工人”,他们将能够在空闲时处理请求

流程分解:

  • 在应用程序启动时创建10个分类器(工作人员),并让它们在某个地方空闲
  • 当应用程序启动时,通过Flask POST命令发出请求
  • 请求被传递到一个可用的分类器
  • 分类器返回作业的结果
我该怎么做呢

编辑:值得注意的是,分类器需要花费大量的时间来启动,因此需要在工作传递给它们时可用并已经运行

class View(views.MethodView):
    def get(self):
        return render_template('index.html')

    def post(self):
        app_form_elements = request.form

    #Assumption button clicked on browser interface...

            jobs = ["job one", "job two", "job three"]

            for job in jobs: 
        #Send each job to next available classifier pool.



        return self.get()



app.add_url_rule('/', view_func=View.as_view('main'), methods=['GET','POST'])

app.debug = True

if __name__ == '__main__':
    app.run(threaded=True)
编辑:

分类器设置如下所示:

class Classifier():
    """
    Class will take in a classifier and a test data set and print out the overall accuracy.
    """
    def __init__(self):

        self.load = self.toSomeStuff()

        print('classifier initialised.\n')


    def doSomeWork(self):
    #Initialised classifier objects called with work to do.



initialise_classifier = Classifier()

#the jobs 
initialise_classifier.doSomeWork()

因此,基本上我需要一个预初始化分类器池,然后能够对通过post方法传入的每个作业调用“doSomeWork”函数。

在Flask中不能这样做。但您可以使用uWSGI内置功能或芹菜之类的任务队列来实现相同的结果


查看更多详细信息。

您可以使用RQ()和模块RQ()来完成。

在队列中运行这些长时间流程是否更有意义?您可以根据需要启动这么多工作人员。如果您需要更多的并发性,请查看