如何通过PHP查找所有URL？

我想知道是否有一些代码或库用于获取域下的所有URL。我需要找到一个域的所有URL

例如，如果我的域是，并且我希望找到所有问题url，如下所示：

[

[

[

我不知道该域下有多少问题，但我必须创建一个搜索所有URL的引擎，然后在找到URL后，我需要将内容插入数据库

我将为我的5个网页创建一个小型搜索引擎

有人能帮忙吗

谢谢，

允许您轻松索引页面，以便高效准确地搜索页面

有关Lucene serach的PHP实现，请参阅

---

你仍然需要爬行你的网站并建立索引，这是另一个问题。你可以使用类似爬行你的网站的软件，给你一个URL列表，然后你可以将这些URL提供给一个PHP脚本，该脚本获取所有页面的内容，并将它们提供给Zend_Search_Lucene以建立索引。你也可以用PHP编写爬行程序或使用ex目前的解决方案。搜索

php爬虫

会产生很多东西，包括这个有用的东西。

对于一个问题来说，这似乎相当宽泛……你正在编写一个网络爬虫，这很复杂。你能不能将你的问题缩小到一个特定的技术问题，或者你希望我们能为你的程序提供架构？我将c创建与php，但我不知道这个工作的名称，所以我不知道如何searcg在谷歌。我如何才能在谷歌搜索有关这项工作的样本？实际上他们中的机器人可以工作。这是你的选择提供给我一个架构或一种方式。我同意所有。请详细说明“我将创建一个小搜索引擎为我的5个网页。”，如果你在爬网/抓取一个站点，为什么你会有5个页面，或者这只是一个示例数字？我可以通过php爬网程序获取所有URL并将页面内容插入数据库吗？当然，一旦你有了URL列表，你就可以使用一个简单的函数来获取其内容。将完整文件插入数据库以进行搜索并不理想呃，所以我要在php crawler上搜索。还有谁有样本可以共享呢？我找到了sphider。它工作得很好。它正在查找所有的URL。我可以像sphider一样创建自己的URL吗？当然你可以创建自己的，但为什么当你可以使用现有的众多URL中的一个时呢？看看它的源代码，你会发现它并不简单，你可以花上几天或几天的时间鳗鱼只是让你的蜘蛛工作良好，并处理边缘案件。