Python 3.x 为什么此Wikipedia mediawiki api请求不将类别返回到所有链接?
我正在尝试获取从给定维基百科页面到其他维基百科文章及其各自类别的所有传出链接 不知何故,许多页面返回时没有类别,即使它们显然属于某些类别。它甚至似乎没有系统性,即返回的没有分类的页面并不总是相同的 下面的例子是我能做的最简单的例子:Python 3.x 为什么此Wikipedia mediawiki api请求不将类别返回到所有链接?,python-3.x,mediawiki,wikipedia-api,mediawiki-api,Python 3.x,Mediawiki,Wikipedia Api,Mediawiki Api,我正在尝试获取从给定维基百科页面到其他维基百科文章及其各自类别的所有传出链接 不知何故,许多页面返回时没有类别,即使它们显然属于某些类别。它甚至似乎没有系统性,即返回的没有分类的页面并不总是相同的 下面的例子是我能做的最简单的例子: # -*- coding: utf-8 -*- import urllib.request import urllib.parse import json def link_request(more_parameters={"continue": ""}):
# -*- coding: utf-8 -*-
import urllib.request
import urllib.parse
import json
def link_request(more_parameters={"continue": ""}):
parameters = {"format": "json",
"action": "query",
"generator": "links",
"gpllimit": "max",
"gplnamespace": "0",
"prop": "categories",
"cllimit": "max",
"titles": urllib.parse.quote(start_page.encode("utf8"))}
parameters.update(more_parameters)
queryString = "&".join("%s=%s" % (k, v) for k, v in parameters.items())
# This ensures that redirects are followed automatically, documented here:
# http://www.mediawiki.org/wiki/API:Query#Resolving_redirects
queryString = queryString+"&redirects"
url = "http://%s.wikipedia.org/w/api.php?%s" % (wikipedia_language, queryString)
print(url)
#get json data from wikimedia API and make a dictionary out of it:
request = urllib.request.urlopen(url)
encoding = request.headers.get_content_charset()
jsonData = request.read().decode(encoding)
data = json.loads(jsonData)
return data
def get_link_data():
data=link_request()
query_result=data['query']['pages']
while 'continue' in data.keys():
continue_dict=dict()
for key in list(data['continue'].keys()):
if key == 'continue':
continue_dict.update({key: data['continue'][key]})
else:
val= "|".join([urllib.parse.quote(e) for e in data['continue'][key].split('|')])
continue_dict.update({key: val})
data=link_request(continue_dict)
query_result.update(data['query']['pages'])
print(json.dumps(query_result, indent=4))
start_page="Albert Einstein"
wikipedia_language="en"
get_link_data()
如果有人想知道:这里解释了continue的内容:问题是,由于continuations的工作方式,您不能只
更新()
例如,假设您有以下带有类别的链接页面:
- 第1页
- 第一类
- 第2页
- 类别2A
- 第2B类
- 第3页
- 第3类
现在,如果将gpllimit
和cllimit
都设置为2(即每个响应最多包含两个页面,最多包含两个类别),结果将跨越三个连续响应,如下所示:
- 答复1
- 第1页
- 第一类
- 第2页
- 类别2A
- 答复2
- 第1页
- 第2页
- 第2B类
- 答复3
- 第3页
- 第3类
如果要使用update()
组合这些响应,响应2的结果将覆盖响应1的结果:
- 第1页
- 第2页
- 第2B类
- 第3页
- 第3类
因此,您需要做的是使用更智能的方法来组合响应。或者更好,使用