Web scraping 网站中链接的邻接列表

我必须解决一个问题。我有2，3个网站，它们之间有很多联系。我必须找到两个网址之间的较短的方式。 然而，在开始时，我需要s.th来绘制这个站点的地图，并制作我可以使用的邻接列表。每一行都应该包含一个页面和从那里开始的所有连接。 我需要的软件，可以使这样的扫描或我应该写这样的软件。

---

例如，使用php curl就不会那么困难了。：）

也许您需要将您的连接想象为图形节点，并使用它进行计算？在检测新闻文章中命名实体的大型新闻网站（）中，我们使用相同的方法将数据存储在neo4j.org中