并发Python Wikipedia包请求
我正在制作一个python应用程序,它使用python Wikipedia包检索3个不同Wikipedia页面的正文。但是,我注意到每次检索一篇文章时,性能非常慢。有没有一种方法可以用来并行检索3个Wikipedia页面的正文?如果需要“原始”页面,可以使用任何python抓取库,如/。并发Python Wikipedia包请求,python,api,mediawiki,wikipedia,wikipedia-api,Python,Api,Mediawiki,Wikipedia,Wikipedia Api,我正在制作一个python应用程序,它使用python Wikipedia包检索3个不同Wikipedia页面的正文。但是,我注意到每次检索一篇文章时,性能非常慢。有没有一种方法可以用来并行检索3个Wikipedia页面的正文?如果需要“原始”页面,可以使用任何python抓取库,如/。 但是,如果您正在寻找解析的wiki格式,则应使用/与多进程一起使用。如果您想要一个通用多进程库,则可以使用binge(pip install binge): cf:有几个Python Wikipedia库。 d
但是,如果您正在寻找解析的wiki格式,则应使用/与多进程一起使用。如果您想要一个通用多进程库,则可以使用
binge
(pip install binge
):
cf:有几个Python Wikipedia库。
def worker(url):
(...)
return urlbody
urls = ['https://www....',
'https://www....',
...
'https://www....']
from binge import B
list_of_urlbodies = B(worker)(urls)