Python 如何在dataframe中使用多线程/多处理代替For循环
目前,我在一个项目中,根据行数据框中提供的数据执行验证,因此我当前的方法是执行验证的顺序方法Python 如何在dataframe中使用多线程/多处理代替For循环,python,pandas,multithreading,dataframe,multiprocessing,Python,Pandas,Multithreading,Dataframe,Multiprocessing,目前,我在一个项目中,根据行数据框中提供的数据执行验证,因此我当前的方法是执行验证的顺序方法 for index in mt.index(): #File Reading #performing validation 但是我想实现多线程/多处理以提高我的处理时间,在当前的方法中,它将花费比预期更多的时间。 有人可以建议或帮助我如何实现多线程/多处理,以提高我的脚本性能。您可以使用池API: from multiprocessing import Pool p = Pool(
for index in mt.index():
#File Reading
#performing validation
但是我想实现多线程/多处理以提高我的处理时间,在当前的方法中,它将花费比预期更多的时间。
有人可以建议或帮助我如何实现多线程/多处理,以提高我的脚本性能。您可以使用池API:
from multiprocessing import Pool
p = Pool()
def validate(index):
## do validation work for a given index here
result = p.map(validate, mt.index())
map函数将在
mt.index()
的值上并行循环。查看更多选项。是否可以将多个参数传递给validate函数。是的,您可以传递一个元组map(validate,mt.index(),args=(参数元组)