Warning: file_get_contents(/data/phpspider/zhask/data//catemap/8/api/5.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
并发Python Wikipedia包请求_Python_Api_Mediawiki_Wikipedia_Wikipedia Api - Fatal编程技术网

并发Python Wikipedia包请求

并发Python Wikipedia包请求,python,api,mediawiki,wikipedia,wikipedia-api,Python,Api,Mediawiki,Wikipedia,Wikipedia Api,我正在制作一个python应用程序,它使用python Wikipedia包检索3个不同Wikipedia页面的正文。但是,我注意到每次检索一篇文章时,性能非常慢。有没有一种方法可以用来并行检索3个Wikipedia页面的正文?如果需要“原始”页面,可以使用任何python抓取库,如/。 但是,如果您正在寻找解析的wiki格式,则应使用/与多进程一起使用。如果您想要一个通用多进程库,则可以使用binge(pip install binge): cf:有几个Python Wikipedia库。 d

我正在制作一个python应用程序,它使用python Wikipedia包检索3个不同Wikipedia页面的正文。但是,我注意到每次检索一篇文章时,性能非常慢。有没有一种方法可以用来并行检索3个Wikipedia页面的正文?

如果需要“原始”页面,可以使用任何python抓取库,如/。
但是,如果您正在寻找解析的wiki格式,则应使用/与多进程一起使用。

如果您想要一个通用多进程库,则可以使用
binge
pip install binge
):


cf:

有几个Python Wikipedia库。
def worker(url):
    (...)
    return urlbody

urls = ['https://www....',
        'https://www....',
        ...
        'https://www....']

from binge import B
list_of_urlbodies = B(worker)(urls)