Warning: file_get_contents(/data/phpspider/zhask/data//catemap/1/php/299.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
如何用PHP构建搜索引擎来搜索多个站点的实时内容?_Php_Curl_Web Scraping_Search Engine - Fatal编程技术网

如何用PHP构建搜索引擎来搜索多个站点的实时内容?

如何用PHP构建搜索引擎来搜索多个站点的实时内容?,php,curl,web-scraping,search-engine,Php,Curl,Web Scraping,Search Engine,我是一个比较新手的程序员,对PHP有很好的理解,但更多的是阅读、理解和复制我需要的位,而不是从头开始开发 我有超过1000个网址,我想搜索列表。我想在这些页面上搜索按需内容,只返回包含我提供的文本查询的结果。我把谷歌自定义搜索引擎看作是一个简单的选择,它工作得很好,但限制了我可以添加的页面数量 我研究过卷发,但似乎没有提供我想要的,除非我错过了什么 或者还有其他像Google CSE这样的免费且易于使用的选项吗?您可以为需要的页面编写爬虫程序,并使用Sphinx engine()在页面中进行搜索

我是一个比较新手的程序员,对PHP有很好的理解,但更多的是阅读、理解和复制我需要的位,而不是从头开始开发

我有超过1000个网址,我想搜索列表。我想在这些页面上搜索按需内容,只返回包含我提供的文本查询的结果。我把谷歌自定义搜索引擎看作是一个简单的选择,它工作得很好,但限制了我可以添加的页面数量

我研究过卷发,但似乎没有提供我想要的,除非我错过了什么


或者还有其他像Google CSE这样的免费且易于使用的选项吗?

您可以为需要的页面编写爬虫程序,并使用Sphinx engine()在页面中进行搜索。在我看来,编写一个带有HTTP扩展的爬虫程序比编写纯卷曲库要好。

我将看一看Sphinx,出于兴趣,你知道有任何编写爬虫程序的教程网站吗?你可以从这里开始,也可以看一看这个,了解更多的示例一个用于抓取和web爬虫的库-