Seo 谷歌：禁用robots.txt中的某些查询字符串

我有上千个类似上面的URL。不同的组合和名称。 我也有这些URL的副本，它们有查询字符串

product\u type=sale

我想禁止谷歌用

product\u type=sale

---

这在robots.txt中可能吗？是的，这是非常简单的。在robots.txt文件中添加以下行：

不允许：/*产品类型=销售

前面的通配符（*）表示任何包含

product\u type=sale

的URL将不再被谷歌抓取

尽管它们可能仍然保留在谷歌的索引中，但谷歌将不再对它们进行爬网，当在谷歌搜索中查看时，会说：由于该网站的robots.txt，该结果的描述不可用–了解更多信息

---

进一步阅读此处：

谷歌支持robots.txt中的通配符。robots.txt中的以下指令将阻止Googlebot对任何具有任何参数的页面进行爬网：

http://www.site.com/shop/maxi-dress?colourId=94&optId=694
http://www.site.com/shop/maxi-dress?colourId=94&optId=694&product_type=sale

这不会阻止许多其他爬行器爬行这些URL，因为通配符不是标准robots.txt的一部分

谷歌可能会花时间从搜索索引中删除您阻止的URL。额外的URL可能仍会被索引数月。在网站管理员工具中的“删除URL”功能被阻止后，您可以使用该功能来加快进程。但这是一个手动过程，您必须粘贴到每个要删除的URL中

如果Googlbot找不到没有参数的URL版本，那么使用robots.txt规则也可能会损害您网站的Google排名。如果您通常使用参数链接到版本，您可能不想在robots.txt中阻止它们。最好使用下面的其他选项之一

---

更好的选择是在每个页面上使用

因此，两个示例URL的标题部分都包含以下内容：

Disallow: /*?

这告诉Googlebot不要索引页面的这么多变体，只索引您选择的URL的“规范”版本。与使用robots.txt不同，Googlebot仍然能够抓取您的所有页面并为它们赋值，即使它们使用各种URL参数

---

另一个选项是登录并使用“爬网”部分中的“URL参数”功能

到达后，单击“添加参数”。您可以将“产品类型”设置为“不影响页面内容”，这样Google就不会使用该参数对页面进行爬网和索引

---

对您使用的每个不改变页面的参数执行相同的操作。

如何将它们从索引中删除？将URL添加到robots.txt不会立即将它们从索引中删除。这只会阻止谷歌机器人再次爬行它们。要从Google的索引中删除URL，您需要添加一个noindex元标记或一个rel canonical元标记（并让Google抓取它们）；或者在机器人中使用后，手动将每个工具输入网站管理员工具删除请求。TXT这应该与moobot的答案结合起来。我认为奖励他/她是公平的，因为他们是新的。如果我将此添加到我的robots.txt文件User Agent:*不允许：/flicking/*？这只是不允许查询FlikCrang文件夹下的页面，但它仍然索引该文件夹中的所有页面？这个问题似乎离题了，因为它是关于SEO的

<link rel="canonical" href="http://www.site.com/shop/maxi-dress">