Pandas 数据帧的多处理

我在Dataframe列上应用函数，但我想让它更快，因为该函数在串行完成时需要大量处理时间

df[df['codes']=='None']['q'][:1].apply(lambda x: clf(x,candidate_labels))

连续运行一行只需要

2.52秒

，但是当使用多处理运行下面的代码时，它需要更长的

51.61秒

，并且我有大约

2500行

进行处理，因此运行函数需要很多时间。我希望它至少能加速20%

import multiprocessing
import pandas as pd
import numpy as np

def clf(x):
    ...
    return list
def _apply_df(args):
    df, func, kwargs = args
    return df.apply(func, **kwargs)

def apply_by_multiprocessing(df, func, **kwargs):
    workers = kwargs.pop('workers')
    pool = multiprocessing.Pool(processes=workers)
    result = pool.map(_apply_df, [(d, func, kwargs)
            for d in np.array_split(df, workers)])
    pool.close()
    return pd.concat(list(result))
    
if __name__ == '__main__':
    tart_time = time.time()
    res=apply_by_multiprocessing(df[df['codes']=='None']['q'][:1],clf, workers=4)  
    print(res)
    print("--- %s seconds ---" % (time.time() - start_time))
    ## run by 4 processors

我也尝试了不同的多处理迭代，但似乎没有一个能加快流程，因为它们会减慢我的代码

from pandarallel import pandarallel
import time
pandarallel.initialize(progress_bar=True)

start_time = time.time()
categories = df[df['codes']=='None']['q'][:10].parallel_apply(lambda x: clf(x,candidate_labels))
print("--- %s seconds ---" % (time.time() - start_time))

另一个实验：

import multiprocessing as mp

def clf:
    ...
    return list

if __name__ == '__main__':
    p = mp.Pool(processes=8)
    pool_results = p.map(clf, df[df['codes']=='None']['q'][:1])
    p.close()
    p.join()

也许你可以用这个：

---

clf

在做什么？也许有矢量化的替代方案。。。此外，多进程需要时间进行配置，并且在规模上弥补了这一点，但是如果没有明确的方法将函数拆分为线程，那么您将获得零时间，并花费更多的时间配置线程call@RichieV谢谢你的回复，因此，

clf

实际上正在运行一个预先训练好的文本分类模型，我将其应用于数据帧的每一行。每一行都是一个句子，需要分类为特定的主题。你使用的是哪种模式？我知道sklearn将多进程作为一个选项嵌入。另外，有没有办法将多行代码传递给您的模型？在创建之前，我会对此进行研究multiprocess@RichieV我没有使用sklearn的任何东西。这是一个来自HuggingFace的零镜头文本分类模型。函数

clf

只是执行

candidate_labels=['a'，'b'，…]cat=classifier（seq，candidate_labels）返回cat

我刚刚试过，一行大约需要

17秒。仍然比<代码>慢。应用< /代码>函数，不符合我预期的多处理结果。
pip install pandas-multiprocess

from pandas_multiprocess import multi_process


args = {'workers': 4}
result = multi_process(func=clf, data=df, num_process=8, **args)