Warning: file_get_contents(/data/phpspider/zhask/data//catemap/8/python-3.x/17.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Python 3.x 使用多处理或线程或异步IO执行多任务,具体取决于场景_Python 3.x_Multithreading_Python Requests_Multiprocessing_Python Asyncio - Fatal编程技术网

Python 3.x 使用多处理或线程或异步IO执行多任务,具体取决于场景

Python 3.x 使用多处理或线程或异步IO执行多任务,具体取决于场景,python-3.x,multithreading,python-requests,multiprocessing,python-asyncio,Python 3.x,Multithreading,Python Requests,Multiprocessing,Python Asyncio,我已经准备好了一次执行1的代码,我想把它升级到一些新奇的、多任务的东西。我正在寻求帮助,了解我可以用什么来实现我的目标 我的代码按以下顺序执行:解析多页、解析多篇文章、解析多幅图像。我尝试使用pool.map()进行多页多处理,结果发现Daemonic不能有子进程的KeyError。我对这个多任务过程的理解是,解析页面速度很快,解析帖子和图像可能非常长 如果我在一个页面上同时解析文章和图像,会允许吗 我应该使用哪些模块来执行此操作?线多重处理?异步?最近我经历了很多事情,我正在为我应该使用的东西

我已经准备好了一次执行1的代码,我想把它升级到一些新奇的、多任务的东西。我正在寻求帮助,了解我可以用什么来实现我的目标

我的代码按以下顺序执行:解析多页、解析多篇文章、解析多幅图像。我尝试使用pool.map()进行多页多处理,结果发现Daemonic不能有子进程的KeyError。我对这个多任务过程的理解是,解析页面速度很快,解析帖子和图像可能非常长

如果我在一个页面上同时解析文章和图像,会允许吗


我应该使用哪些模块来执行此操作?线多重处理?异步?最近我经历了很多事情,我正在为我应该使用的东西而挣扎。

因此,在我的脑海中,你可以看到两件事

1) Asyncio(请注意,此示例使用线程,并且不是线程安全的,特别是函数Asyncio.gather)

2) 异步IO+多处理

我也被pool.map()弄糊涂了,我只能随身携带一个变量,不能随身携带任何其他变量,例如path\u outputs,这是pool.map()链接中唯一有用的变量。每个人都有自己的场景,每个人都有自己的技能集,而且没有人与python处于同一水平。就像我说的,我已经读了很多了。我只想看到更具体的东西,一个明确的方向或指引。求你了,长官!亲爱的主任,这个新模块看起来非常棒,我要试一试,看看效果如何。
import asyncio
for work in [1,2,3,4,5]:
    tasks.append(method_to_be_called(work))

results = await asyncio.gather(*tasks)