Python 从dict上的for循环到多处理

Python 从dict上的for循环到多处理,python,pandas,python-multithreading,dask,Python,Pandas,Python Multithreading,Dask,我有一个4个pandas.DataFrame的字典,在这里我循环最后生成ML模型。 将流程并行化并同时生成4个模型会更有效 使用多处理或某些Dask功能(如带有Dask.DataFrame的multi-pd.DataFrame)的最佳方法是什么 编辑:如果更智能的话,我可以将输入格式从dict更改为其他格式。有关自定义工作负载的介绍性示例,请参阅。解决方案可能如下所示: from dask import delayed, compute out = [delayed(produce_ml_mo

我有一个4个pandas.DataFrame的字典,在这里我循环最后生成ML模型。 将流程并行化并同时生成4个模型会更有效

使用
多处理
或某些Dask功能(如带有Dask.DataFrame的multi-pd.DataFrame)的最佳方法是什么


编辑:如果更智能的话,我可以将输入格式从dict更改为其他格式。

有关自定义工作负载的介绍性示例,请参阅。解决方案可能如下所示:

from dask import delayed, compute

out = [delayed(produce_ml_model)(df)
       for df in ready_df_dict.values()]

compute(out)
请注意,在调用
compute
时,您可以选择要使用的调度程序

from dask import delayed, compute

out = [delayed(produce_ml_model)(df)
       for df in ready_df_dict.values()]

compute(out)