.htaccess 正在更新有关目录结构更改的爬虫信息

.htaccess 正在更新有关目录结构更改的爬虫信息,.htaccess,http-status-code-301,robots.txt,google-crawlers,http-status-code-410,.htaccess,Http Status Code 301,Robots.txt,Google Crawlers,Http Status Code 410,在我们的旧网站上,我们有一些目录,后来被弃用了。我担心大量涌入的404s会损害我们的排名 例如,曾经的www.mysite.com/intranet/在我们的服务器上已经不存在了,但谷歌(我猜)正在更新该文件夹的旧记录并返回404s。(我们使用一个插件通过rss报告404s) 我看到的选择是: 通过.htaccess重定向这些URL 不允许通过robots.txt(因为没有这样的目录,所以容易混淆) 通过网站管理员工具删除目录(可能不是建议这样做的原因) 如果有人能提供一些关于如何防止谷歌认为这

在我们的旧网站上,我们有一些目录,后来被弃用了。我担心大量涌入的
404
s会损害我们的排名

例如,曾经的
www.mysite.com/intranet/
在我们的服务器上已经不存在了,但谷歌(我猜)正在更新该文件夹的旧记录并返回
404
s。(我们使用一个插件通过rss报告
404
s)

我看到的选择是:

  • 通过
    .htaccess
    重定向这些URL
  • 不允许通过
    robots.txt
    (因为没有这样的目录,所以容易混淆)
  • 通过网站管理员工具删除目录(可能不是建议这样做的原因)

  • 如果有人能提供一些关于如何防止谷歌认为这些目录仍然是网站的一部分的见解,我将不胜感激。

    你应该更新你的网站地图并将其发送给搜索引擎,这是重要的第一步

    除了站点地图之外,如果您将这些资源移动到新结构中的新位置,请使用。如果它们只是消失了,不管是什么原因,那么使用通知爬虫它们不再可用

    您提到的robots.txt文件不需要触摸,因为这对于站点的真实结构是不正确的