Python 从dict上的for循环到多处理
我有一个4个pandas.DataFrame的字典,在这里我循环最后生成ML模型。 将流程并行化并同时生成4个模型会更有效 使用Python 从dict上的for循环到多处理,python,pandas,python-multithreading,dask,Python,Pandas,Python Multithreading,Dask,我有一个4个pandas.DataFrame的字典,在这里我循环最后生成ML模型。 将流程并行化并同时生成4个模型会更有效 使用多处理或某些Dask功能(如带有Dask.DataFrame的multi-pd.DataFrame)的最佳方法是什么 编辑:如果更智能的话,我可以将输入格式从dict更改为其他格式。有关自定义工作负载的介绍性示例,请参阅。解决方案可能如下所示: from dask import delayed, compute out = [delayed(produce_ml_mo
多处理
或某些Dask功能(如带有Dask.DataFrame的multi-pd.DataFrame)的最佳方法是什么
编辑:如果更智能的话,我可以将输入格式从dict更改为其他格式。有关自定义工作负载的介绍性示例,请参阅。解决方案可能如下所示:
from dask import delayed, compute
out = [delayed(produce_ml_model)(df)
for df in ready_df_dict.values()]
compute(out)
请注意,在调用compute
时,您可以选择要使用的调度程序
from dask import delayed, compute
out = [delayed(produce_ml_model)(df)
for df in ready_df_dict.values()]
compute(out)