Python-大字符串的多处理速度较慢

Python-大字符串的多处理速度较慢,python,string,performance,nlp,multiprocessing,Python,String,Performance,Nlp,Multiprocessing,我正在对一个10公里(约15万公里)的大样本进行文本分析,并拼命尝试通过多处理来加速我的程序。相关函数加载txt文件,使用一些RegExp解析它们,并将它们保存为“clean”: 我尝试在文件名列表上执行此功能,如下所示: with Pool(processes = 8) as pool, tqdm(total = len(files_10k)) as pbar: for d in pool.imap_unordered(plain_10k, files_10k): pbar.updat

我正在对一个10公里(约15万公里)的大样本进行文本分析,并拼命尝试通过多处理来加速我的程序。相关函数加载txt文件,使用一些RegExp解析它们,并将它们保存为“clean”:

我尝试在文件名列表上执行此功能,如下所示:

with Pool(processes = 8) as pool, tqdm(total = len(files_10k)) as pbar:
for d in pool.imap_unordered(plain_10k, files_10k):
    pbar.update()
不幸的是,该程序似乎被卡住了,因为它没有返回(即保存干净的txt文件)任何内容。即使只有10个文件的小列表,也不会发生任何事情

这里有什么问题

如果相关:输入txt文件的大小在10kb到10mb之间,大多数小于1mb

我对Python很陌生,所以上面的代码是几个小时谷歌搜索的结果,当然不是很好。我很高兴收到任何意见和建议

提前非常感谢

with Pool(processes = 8) as pool, tqdm(total = len(files_10k)) as pbar:
for d in pool.imap_unordered(plain_10k, files_10k):
    pbar.update()