Html 如何让搜索引擎远离我域中的某些页面
我已经为我的网站建立了一个管理控制面板。我不希望控制面板应用程序最终出现在搜索引擎中,因为它真的没有必要。我做了一些研究,发现通过使用下面的标签,我可能可以实现我的目标Html 如何让搜索引擎远离我域中的某些页面,html,meta,Html,Meta,我已经为我的网站建立了一个管理控制面板。我不希望控制面板应用程序最终出现在搜索引擎中,因为它真的没有必要。我做了一些研究,发现通过使用下面的标签,我可能可以实现我的目标 <meta name="robots" content="noindex,nofollow"> 这是真的吗?还有其他更可靠的方法吗?我这样问是因为我害怕如果我使用了错误的方法会把事情搞砸,我希望搜索引擎搜索我的网站,而不是控制面板。。。 谢谢这是真的,但除此之外,为了更安全,您应该在.htaccess文件中设置
<meta name="robots" content="noindex,nofollow">
这是真的吗?还有其他更可靠的方法吗?我这样问是因为我害怕如果我使用了错误的方法会把事情搞砸,我希望搜索引擎搜索我的网站,而不是控制面板。。。
谢谢这是真的,但除此之外,为了更安全,您应该在
.htaccess
文件中设置:
Header set X-Robots-Tag "noindex, nofollow"
在中,您应该在域的根目录中创建一个新文件,名为robots.txt
,其中包含以下内容:
User-agent: *
Disallow: /
您可以确保他们不会为您的内容编制索引;) 谷歌将通过从索引()中完全删除页面来尊重meta标签,然而其他爬虫可能只是决定忽略它
从某种意义上说,元标记在谷歌更可靠,因为只要简单地使用
robots.txt
任何其他显式链接到你的管理页面的外部源(无论出于何种原因),都会使你的页面出现在谷歌索引中(尽管没有任何内容,这可能会导致一些SERP漏洞).这就足够了。不要太担心,几乎没有人会在谷歌网页上找到没有相关关键字或内容的网页。没有任何东西强迫网络爬虫遵守robots.txt中的说明,但谷歌机器人声称公平:)除了阻止机器人,你还可以用一个“sitemap.xml”文件来帮助他们,该文件描述了你确实想要索引的路线。的确,但op所寻求的是一种阻止他们的方法,而我所提供的是最可行的解决方案,以防止他们这样做。