Python 如何在dataframe中使用多线程/多处理代替For循环

Python 如何在dataframe中使用多线程/多处理代替For循环,python,pandas,multithreading,dataframe,multiprocessing,Python,Pandas,Multithreading,Dataframe,Multiprocessing,目前,我在一个项目中,根据行数据框中提供的数据执行验证,因此我当前的方法是执行验证的顺序方法 for index in mt.index(): #File Reading #performing validation 但是我想实现多线程/多处理以提高我的处理时间,在当前的方法中,它将花费比预期更多的时间。 有人可以建议或帮助我如何实现多线程/多处理,以提高我的脚本性能。您可以使用池API: from multiprocessing import Pool p = Pool(

目前,我在一个项目中,根据行数据框中提供的数据执行验证,因此我当前的方法是执行验证的顺序方法

for index in mt.index():
    #File Reading 
    #performing validation
但是我想实现多线程/多处理以提高我的处理时间,在当前的方法中,它将花费比预期更多的时间。
有人可以建议或帮助我如何实现多线程/多处理,以提高我的脚本性能。

您可以使用池API:

from multiprocessing import Pool

p = Pool()

def validate(index):
   ## do validation work for a given index here

result = p.map(validate, mt.index())

map函数将在
mt.index()
的值上并行循环。查看更多选项。

是否可以将多个参数传递给validate函数。是的,您可以传递一个元组
map(validate,mt.index(),args=(参数元组)