Seo 禁止robots.txt中特定url中的所有参数

我不允许特定url中的所有参数

如果我添加此规则：

Disallow: /*?*

它适用于所有url

我想做的是：

Disallow: /my-specific-url/*?*

---

但是根据谷歌网站管理员工具，这个规则不起作用。

虽然你不能使用正则表达式，但你可以使用通配符

你试过类似的东西吗

Disallow: /my-specific-url/*var1=*

---

虽然不能使用正则表达式，但可以使用通配符

你试过类似的东西吗

Disallow: /my-specific-url/*var1=*

---

您的示例看起来应该可以正常工作，但您确实需要包含用户代理行。以下robots.txt文件：

User-agent: *
Disallow: /my-specific-url/*?*

将阻止以下URL：

http://example.com/my-specific-url/?
http://example.com/my-specific-url/?a=b

但它不会阻止以下方面：

http://example.com/my-specific-url/
http://example.com/some-other-url/?a=b

请注意，尾随*是无害的，但没有任何用处。做同样事情的更干净的方法是：

User-agent: *
Disallow: /my-specific-url/*?

---

还请注意，主要搜索引擎支持通配符，但许多其他爬虫程序不支持通配符。

您的示例看起来应该可以工作，但您确实需要包括用户代理行。以下robots.txt文件：

User-agent: *
Disallow: /my-specific-url/*?*

将阻止以下URL：

http://example.com/my-specific-url/?
http://example.com/my-specific-url/?a=b

但它不会阻止以下方面：

http://example.com/my-specific-url/
http://example.com/some-other-url/?a=b

请注意，尾随*是无害的，但没有任何用处。做同样事情的更干净的方法是：

User-agent: *
Disallow: /my-specific-url/*?

---

---

还请注意，主要搜索引擎支持通配符，但许多其他爬虫程序不支持通配符。

在GWT上测试时，是否包括

用户代理：

行？用户代理行是必需的。@plasticinsectyes，我有

用户代理：

我应该发布完整的文件。在GWT上测试时，是否包括

用户代理：

行？用户代理行是必需的。@plasticinsetyes，我有

用户代理：

我应该发布完整的文件。这将阻止具有特定命名参数的给定路径的URL。（本例中为var1）OP询问如何阻止具有任何参数的给定路径的url。我不能100%确定是否只使用Disallow:/my specific url/*=*就可以了-您可以尝试一下，并使用网站管理员工具中的Robots.txt测试仪，看看它是否能像您预期的那样工作。如果没有，最好的选择是在robots.txt中逐个列出所有参数。是的，我不能列出所有参数，因为实际上我有一个电子商务CMS（Prestashop）的bug。它随机生成许多带有奇怪参数的URL，如

my specific URL？amp%2525253Bamp%2525253B=&p=4

。这会导致分类页面上出现大量重复内容。我暂时找不到这些url来自哪里。所以我想要求搜索引擎不要探索这个URL。当然，我正在试图找到bug的来源。不幸的是，

Disallow:/my-specific-url/*=*

不起作用。我已经用GWT站点地图测试仪测试过了。现在可以用了。对不起，我犯了一个简单的错误：我忘了删除斜杠。因此，此解决方案正在工作：

Disallow:/my specific url*=*

此外，@plasticinsect解决方案正在工作：

Disallow:/my specific url*？*

这将阻止具有特定命名参数的给定路径的url。（本例中为var1）OP询问如何阻止具有任何参数的给定路径的url。我不能100%确定是否只使用Disallow:/my specific url/*=*就可以了-您可以尝试一下，并使用网站管理员工具中的Robots.txt测试仪，看看它是否能像您预期的那样工作。如果没有，最好的选择是在robots.txt中逐个列出所有参数。是的，我不能列出所有参数，因为实际上我有一个电子商务CMS（Prestashop）的bug。它随机生成许多带有奇怪参数的URL，如

my specific URL？amp%2525253Bamp%2525253B=&p=4

。这会导致分类页面上出现大量重复内容。我暂时找不到这些url来自哪里。所以我想要求搜索引擎不要探索这个URL。当然，我正在试图找到bug的来源。不幸的是，

Disallow:/my-specific-url/*=*

不起作用。我已经用GWT站点地图测试仪测试过了。现在可以用了。对不起，我犯了一个简单的错误：我忘了删除斜杠。因此，此解决方案有效：

Disallow:/my specific url*=*

此外，@plasticinest解决方案有效：

Disallow:/my specific url*？*

感谢您的回答。不幸的是，它不起作用。我在robots.txt的开头添加了两行。我已经用谷歌站长网站地图测试工具测试了这个url：

我的特定url？amp%2525253Bamp%2525253B=&p=4

，它说这个url是授权的。我知道这个网址很奇怪。我有一个电子商务CMS（Prestashop）的错误，我找不到这些url来自哪里。所以我想让搜索引擎不要浏览这个url，因为我有很多重复的内容。当然，我会努力找到这个bug的来源，现在它可以工作了。对不起，我犯了一个简单的错误：我忘了删除斜杠。所以这个解决方案是有效的：

Disallow:/my specific url*？*

另外，@FarhadD解决方案也是有效的：

Disallow:/my specific url*=*

你能更新你的答案吗？谢谢你的回答。不幸的是，它不起作用。我在robots.txt的开头添加了两行。我已经用谷歌站长网站地图测试工具测试了这个url：

我的特定url？amp%2525253Bamp%2525253B=&p=4

，它说这个url是授权的。我知道这个网址很奇怪。我有一个电子商务CMS（Prestashop）的错误，我找不到这些url来自哪里。所以我想让搜索引擎不要浏览这个url，因为我有很多重复的内容。当然，我会努力找到这个bug的来源，现在它可以工作了。对不起，我犯了一个简单的错误：我忘了删除斜杠。所以这个解决方案是有效的：

Disallow:/my-specific-url*？*

另外，@FarhadD解决方案也是有效的：

Disallow:/my-specific-u