Seo 如果谷歌机器人试图为营销URL编制索引,我应该担心吗?

Seo 如果谷歌机器人试图为营销URL编制索引,我应该担心吗?,seo,googlebot,Seo,Googlebot,我最近开始使用 看到谷歌试图索引多少链接,我非常惊讶 http://www.example.com/?c=123 http://www.example.com/?c=82 http://www.example.com/?c=234 http://www.example.com/?c=991 这些都是作为合作伙伴网站链接存在的活动 因为现在,我的机器人文件拒绝了所有这些内容,直到网站完成——网站上的每一页都是如此 我想知道在我减少robots.txt文件的限制之前,处理此类链接的最佳方法是什么

我最近开始使用

看到谷歌试图索引多少链接,我非常惊讶

http://www.example.com/?c=123
http://www.example.com/?c=82
http://www.example.com/?c=234
http://www.example.com/?c=991
这些都是作为合作伙伴网站链接存在的活动

因为现在,我的机器人文件拒绝了所有这些内容,直到网站完成——网站上的每一页都是如此

我想知道在我减少robots.txt文件的限制之前,处理此类链接的最佳方法是什么

我担心它们会被视为不同的URL,并开始出现在谷歌的搜索结果中。它们都对应于同一页——给予或接受。我不希望人们发现它们的本来面目并点击它们

到目前为止,最好的方法是按如下方式呈现包含查询字符串的页面:

 // DO NOT TRY THIS AT HOME. See edit below
 <% if (Request.QueryString != "") { %>

    <META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">

 <% } %>
//不要在家里尝试。请参见下面的编辑
我需要这样做吗?这是最好的方法吗


编辑:这不是一个好方法。事实证明,谷歌在一个页面上看到的NOINDEX与另一个没有NOINDEX的页面内容相同。显然,它认为他们是同一件事,诺因迪斯优先。结果,我的网站从谷歌上完全消失了。警告:这可能是我在同一时间做的其他事情,但我不会冒险使用这种方法。

这似乎是最好的方法,除非页面存在于自己的文件夹中,在这种情况下,您可以修改robots.txt文件以忽略该文件夹。

这似乎是最好的方法,除非页面存在于自己的文件夹中,在这种情况下,您可以修改robots.txt文件以忽略该文件夹文件夹。

是的,谷歌会将它们解释为不同的URL

根据您的Web服务器,您可以使用重写过滤器删除搜索引擎的参数,例如Tomcat或Apache


就我个人而言,我只是在删除跟踪参数的情况下重定向到同一页面。

是的,谷歌会将它们解释为不同的URL

根据您的Web服务器,您可以使用重写过滤器删除搜索引擎的参数,例如Tomcat或Apache


就我个人而言,我只是在删除跟踪参数的情况下重定向到同一页面。

这正是
rel=“canonical”
设计的目的

这正是
rel=“canonical”
设计的目的

对于不应编制索引的资源,我更喜欢在页面加载中执行简单的返回:

if (IsBot(Request.UserAgent)
    return;

对于不应编制索引的资源,我更喜欢在页面加载中执行简单的返回:

if (IsBot(Request.UserAgent)
    return;

+1、canonical会有帮助。另外,请查看“站点地图”,cfr。谷歌在文章中指出“规范是一个提示还是一个指令?这是一个我们非常尊重的提示。”其他引擎也尊重这个提示吗?如果是的话,那么同样强烈吗?谢谢。我喜欢带着一个问题上床睡觉,醒来时已经有了3票的答案:-)@Dave:在文章的底部,我引用:“更新:这个链接标签目前也得到Ask.com、Microsoft Live Search和Yahoo的支持!”“我也没有在那里看到它,直到我,谷歌刚刚搜索过它,它弹出了一个链接,其中突出显示了重要的部分。+1,canonical将提供帮助。另外,请查看“站点地图”,cfr。谷歌在文章中指出“规范是一个提示还是一个指令?这是一个我们非常尊重的提示。”其他引擎也尊重这个提示吗?如果是的话,那么同样强烈吗?谢谢。我喜欢带着一个问题上床睡觉,醒来时已经有了3票的答案:-)@Dave:在文章的底部,我引用:“更新:这个链接标签目前也得到Ask.com、Microsoft Live Search和Yahoo的支持!”“我也没有在那里看到它,直到我,刚才谷歌搜索了一下,它弹出了一个链接,其中突出显示了重要的部分。我本来是这样做的,但是谷歌分析无法跟踪活动id。我在兜圈子!你应该只重定向到爬虫。我本来是这样做的,但是谷歌分析无法跟踪活动id。我在兜圈子!你应该重定向到爬虫。