python处理来自WikipediaAPI的大型json响应
我正在访问WikipediaAPI以获取页面中的文本。我正在使用带有页面名称的parseapi调用。它将整个站点的html作为json对象中的一个元素提供给您,并允许您通过为wiki页面中的每个部分提供字节偏移量来解析所需的项目。有没有更好的方法来处理这个问题,然后将整个响应加载到内存中?现在,我所能想到的就是使用json.loads()创建一个dict,然后按它指定的每个字节偏移量拆分字符串。您可以使用一个迭代json解析器。此包允许您在节点上进行迭代,例如:python处理来自WikipediaAPI的大型json响应,python,json,api,mediawiki,Python,Json,Api,Mediawiki,我正在访问WikipediaAPI以获取页面中的文本。我正在使用带有页面名称的parseapi调用。它将整个站点的html作为json对象中的一个元素提供给您,并允许您通过为wiki页面中的每个部分提供字节偏移量来解析所需的项目。有没有更好的方法来处理这个问题,然后将整个响应加载到内存中?现在,我所能想到的就是使用json.loads()创建一个dict,然后按它指定的每个字节偏移量拆分字符串。您可以使用一个迭代json解析器。此包允许您在节点上进行迭代,例如: import ijson f
import ijson
f = urlopen('http://.../')
objects = ijson.items(f, 'earth.europe.item')
cities = (o for o in objects if o['type'] == 'city')
for city in cities:
do_something_with(city)