Graph 制作维基百科链接树

Graph 制作维基百科链接树,graph,wikipedia,wikipedia-api,Graph,Wikipedia,Wikipedia Api,我正在尝试使用WikipediaAPI获取所有页面上的所有链接。目前我正在使用 但这似乎并不是从第一篇文章开始到最后一篇文章结束。如何才能生成所有页面及其链接?英文维基百科大约有10.5亿个内部链接。考虑到list=alllinks模块每个请求有500个链接的限制,从API获取所有链接是不现实的 相反,您可以下载并使用这些。具体来说,您需要pagelinks转储,其中包含链接本身的信息,并且很可能还需要page转储,以便将页面ID映射到页面标题。我知道这是一个老问题,但如果其他人正在搜索并找到

我正在尝试使用WikipediaAPI获取所有页面上的所有链接。目前我正在使用


但这似乎并不是从第一篇文章开始到最后一篇文章结束。如何才能生成所有页面及其链接?

英文维基百科大约有10.5亿个内部链接。考虑到
list=alllinks
模块每个请求有500个链接的限制,从API获取所有链接是不现实的


相反,您可以下载并使用这些。具体来说,您需要
pagelinks
转储,其中包含链接本身的信息,并且很可能还需要
page
转储,以便将页面ID映射到页面标题。

我知道这是一个老问题,但如果其他人正在搜索并找到它,我强烈建议您查看以提取所有维基百科的链接图。它产生了一个相对紧凑的表示,可用于非常快速地遍历链接。

您可能希望
generator=allpages
,但您可能不希望使用它来循环浏览英语维基百科的所有4000万页。