Php 谷歌正在抓取服务器文件

当我使用以下工具进行搜索时：

site:blog.myblog.com

然后在结果页面中，

显示了几个不合适的URL以及HTTPS上的URL

例如，不适当的URL包括：

为什么它会这样索引。

如何解决这个问题？这真的阻碍了这个博客的搜索引擎优化工作

我在这台服务器上检查了另一个网站，结果是相同的，不合适的URL和HTTPS上的URL

请导游

---

它在CentOS和xampp上。

你需要关闭目录索引——这很可能是谷歌实现这一目标的原因。请阅读此处的操作方法：若要删除现有索引，请创建robots.txt文件并禁止不希望爬网的路径（操作方法如下）

使用robots.txt阻止网站的某些部分进行爬网

---

另一个解决方案是对不希望索引的目录进行密码保护。大多数爬虫只是忽略这些目录，因为它们无法访问它们。

答案很简单。请告诉我robots.txt是如何在我的服务器上创建的，以及在我的服务器上该文件的位置和代码行。不客气。文件通常放在根目录中。更多信息请访问robotstxt.com网站：）