Web crawler robots.txt-它是否适用于已删除的页面？

我一直在使用我的robots.txt文件来排除某些页面被爬网和在我的网站上找到

我发现有几个旧页面（现在从服务器上删除了）仍然可以通过搜索引擎找到

---

Q） 我是否需要在服务器上重新创建页面，以便使用robots.txt进行此操作？

不，您不需要重新创建页面来在robots.txt中提及它。也就是说，你可以：

User-Agent: *
Disallow: /foo/bar.html

不管/foo/bar.html是否真的存在。礼貌的机器人不会尝试访问该页面

请注意，如果浏览器从搜索引擎获得链接，它不会阻止浏览器尝试访问该页面

从搜索引擎索引中删除旧页面是一个更困难的问题。如果他们重新抓取你的站点，那么他们可能会用你的新布局替换他们的快照，页面将不再显示。但是，如果他们从其他站点找到指向旧页面的链接，他们可能仍然会在索引中列出已删除的页面。这取决于搜索引擎

对于较大的搜索引擎，您可以提交删除请求。如何做到这一点取决于个人网站