禁止wordpress机器人上的/feed和/trackback,但谷歌仍在索引

禁止wordpress机器人上的/feed和/trackback,但谷歌仍在索引,wordpress,feed,robot,trackback,Wordpress,Feed,Robot,Trackback,我的网站和robots.txt文件有问题。我被禁止在我的机器人上使用/feed和/trackback url,但出于某种原因,我仍然在我的谷歌站长url上收到类似的信息,我不知道如何正确修复。在那之后,我的网站的访问量下降了 有人能帮我吗 问候 这是我的robots.txt User-agent: * Disallow: /cgi-bin Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content/plugins Disall

我的网站和robots.txt文件有问题。我被禁止在我的机器人上使用/feed和/trackback url,但出于某种原因,我仍然在我的谷歌站长url上收到类似的信息,我不知道如何正确修复。在那之后,我的网站的访问量下降了

有人能帮我吗

问候

这是我的robots.txt

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Allow: /wp-content/uploads/
Disallow: /trackback
Disallow: /?ref=
Disallow: /feed
Disallow: /comments/feed
Disallow: /feed/$
Disallow: /*/feed/$
Disallow: /*/feed/rss/$
Disallow: /*/trackback/$
Disallow: /*/*/feed/$
Disallow: /*/*/feed/rss/$
Disallow: /*/*/trackback/$
Disallow: /*/*/*/feed/$
Disallow: /*/*/*/feed/rss/$
Disallow: /*/*/*/trackback/$
Disallow: /?s= 
Disallow: /search

User-agent: Googlebot-Image
Allow: /

Sitemap: http://www.mydomain.net/sitemap.xml

我认为您的问题在于使用通配符
*
这不是必需的,只是使用而已

Disallow: /feed/
这同样适用于野生字符的所有其他用途

此外,并非所有搜索引擎都接受通配符


您可以尝试robots.txt语法检查器以获得更多帮助。

您的robtos文件似乎没有问题,我认为您误解了如何使用它。
不能通过向robot文件中添加regexp来阻止对某个文件夹进行索引,这是因为robots.txt仅控制爬虫活动。因此,为了防止对某些页面进行索引,您必须使用robots meta标记。

我正在使用此标记,但在网站管理员中仍然会收到150个/feed/错误。可能需要使用通配符来显示以/feed/结尾的所有URL?