Web crawler 为什么我的网站从GWT中显示的404页面上的搜索词中得到了软404错误?
我最近刚切换到wordpress,我突然在Google网站管理员工具上发现了几个404软件错误 我认为它们都来自于某种程度上的自动搜索,或者被谷歌在我们的wordpress网站的未找到页面上的编码中抓取,因为这是最重要的 我只找到了一个搜索页面,它们都使用术语{search_term}作为搜索查询,该页面给出了一个“Nothing found”结果 我很想听到一些关于如何解决这个问题的建议 这是我在站长工具上看到的,也可以查看 软404 Url:abc.com/search/%7b搜索术语%7D/ 链接自 abc.com/search/{search\u term}/ abc.com/?s=%7b搜索项%7D 谢谢,,Web crawler 为什么我的网站从GWT中显示的404页面上的搜索词中得到了软404错误?,web-crawler,google-webmaster-tools,Web Crawler,Google Webmaster Tools,我最近刚切换到wordpress,我突然在Google网站管理员工具上发现了几个404软件错误 我认为它们都来自于某种程度上的自动搜索,或者被谷歌在我们的wordpress网站的未找到页面上的编码中抓取,因为这是最重要的 我只找到了一个搜索页面,它们都使用术语{search_term}作为搜索查询,该页面给出了一个“Nothing found”结果 我很想听到一些关于如何解决这个问题的建议 这是我在站长工具上看到的,也可以查看 软404 Url:abc.com/search/%7b搜索术语%7D
拉姆·巴布(Ram Babu)我看到你也在网络上的其他地方发布了这个问题,但鉴于我已经有一段时间遇到这个问题,我想在这里发布答案可能对其他人有用 在网上还可以找到以下代码,它创建了一个虚拟的
robots.txt
文件,阻止爬虫访问不存在的/search/
页面,这些页面不会返回404:
// WordPress Virtual robots.txt additions
add_filter( 'robots_txt', 'v_robots', 10, 2 );
function v_robots( $output, $public ) {
$output .= "Disallow: /search/" . "\n";
return $output;
}