Indexing 在robots.txt中是否应该禁止站点地图？还有robot.txt本身？

这是一个非常基本的问题，但我在网上找不到直接的答案。当在谷歌上搜索我的网站时，sitemap.xml和robots.txt将作为搜索结果返回（在更有用的结果中）。为了防止出现这种情况，我应该在robots.txt中添加以下行吗

Disallow: /sitemap.xml
Disallow: /robots.txt

这不会阻止搜索引擎访问站点地图或robots文件吗

---

另外/我应该使用谷歌的URL删除工具吗？

你不会阻止爬虫为robots.txt编制索引，因为这是一个鸡和蛋的情况，但是，如果你不指定谷歌和其他搜索引擎直接查看站点地图，你可能会因为拒绝你的sitemap.xml而失去一些索引权重。 您希望用户无法查看站点地图的具体原因是什么？ 我实际上是这样做的，这是专门针对谷歌爬虫的：

 Allow: /
 # Sitemap
 Sitemap: http://www.mysite.com/sitemap.xml

---

我不想阻止用户查看站点地图文件，但我只是不希望它出现在搜索结果中。有没有办法做到这一点？还有robots.txt？我基本上只想在包含网站内容的搜索结果中出现“有用”的URL。问题是，如果你的网站地图和robots.txt文件的点击率高于你的内容，你必须想知道为什么。您的内容应该总是吸引用户而不是XML文件。同样，如果你真的担心，你可以做一些后端服务器功夫，使用后端语言或web服务器在服务器头响应处放置一个称为X-Robots标记的东西。我们不会索引站点地图（即在结果中返回站点地图），除非它是从公共资源（如HTML页面）链接的。如果您只在robot.txt文件中列出它，我们不会为它编制索引。需要注意的一点是，如果您不允许对网站地图进行爬网，我们将无法对其进行爬网，从而无法使用它。@RLJ没有合适的搜索引擎会将您的

Sitemap.xml

或

robots.txt

提交给抓取程序-它们特别是机器读取文件格式的机器读取文件。如果您的站点地图引用了任何HTML文件，并且您的站点地图被认为具有任何价值，那么搜索引擎将显示该文件。