Php 将web主工具爬虫SQL（数据库）

我将所有页面数据保存在SQL中，并使用PHP检索

像GoogleWebMaster、BingWebMaster等web主控工具会抓取数据库中的所有数据吗

以便在搜索引擎上显示结果

因为web主控工具将在HTML或PHP页面中查找标题和文本，但在我的例子中，我将所有标题和数据保存在SQL中

---

如果我在SQL数据库中保存数据，web master是否会对其进行爬网？

您数据库中的数据不会被爬网。不过，爬虫程序将对您在页面中输入的每个数据进行爬网。爬虫就像用户一样，他们加载你的网站的每一页，他们可以找到一个可以读取输出的HTML的页面。但是，除非你给他们提供数据库的代码，否则没有人可以访问你的数据库。只要确保在html页面中输出正确的内容即可

---

您的标题将被crawler读取，因为数据由PHP从您的数据库发送，然后服务器发送HTML输出结果。他们不会读取您的数据库，但会读取您在网站上看到的内容（您的标题等），因为您要求PHP将其输出。

您认为其他网站如何存储其数据？不，网络爬虫无法直接访问您的数据库，他们甚至不知道您有数据库，他们只知道他们能在网页上看到什么我想问题很清楚不知道为什么hold@Yann当前位置该OP实际上想做什么，这一点相当模糊。如果问题仅仅是“爬虫能否直接访问我的数据库”，那么答案是“不”（谢天谢地）。是的，这个人显然是一个乞丐，我理解，但在我看来，他的问题非常清楚。他对谷歌无法抓取他的标题感到震惊，因为他使用PHP和MySQL生成标题。我相信他甚至没有意识到如果crawler可以访问他的数据库，这将是一个安全问题，因为只有一个像页面输出这样的php文件会显示从SQLExample加载的页面内容。当你加载一个网页时，服务器会检查你的php，您在HTML页面中输出数据，然后服务器向浏览器发送一个HTML页面，其中没有任何PHP痕迹。因此，用户（或爬虫程序）只能看到纯HTML（带有css、javascript等），但他们无法看到数据库中的内容以及通过PHP和/或数据库生成的内容。在我的页面中，我有一个标题列表，每个标题都包含到数据库的链接（例如：页面内容：-PHP是我的标题，内容都与PHP有关）它和stackoverflow一样，这里我们有各种各样的问题和答案，我想把所有的数据存储到数据库中，而不是创建页面，web master可以爬网吗？是的，它将被爬网。但他们不会直接抓取你的“数据库”。它们将抓取用户可以看到的相同内容。