Search 如何停止所有搜索引擎，机器人爬网一些网址

我想数一下点击小部件的广告

我在robot.txt文件中使用了：

User-agent: *
Allow: /
Disallow: */ads_count/*

我还为该小部件中的所有链接添加了

nofollow

但许多机器人仍然在该小部件中跟踪URL。我有客户端ip来计算URL，我有很多ip表单bot。

在*/ads\u计数之前你是否尝试过删除（*）？ 正如谷歌SEO文档所说，如果你想阻止所有的机器人，就像你做的那样：

User-agent: * // (to whom? (*) means all bots!
Disallow: /ads_count

请注意，指令区分大小写。例如，Disallow:/junk\u file.asp会阻止，但会允许。Googlebot将忽略robots.txt中的空白（尤其是空行）和未知指令

---

Allow

和

Disallow

中的通配符

*

不是原始robots.txt规范的一部分，因此并非所有robots.txt解析器都知道/注意这些规则

如果要阻止所有以

/ads\u count/

开头的页面，只需：

User-agent: *
Disallow: /ads_count/

---

但是：并非所有机器人都尊重robots.txt。所以你仍然会被忽略robots.txt的坏机器人点击。

Ex for my url:所以我尝试禁止所有机器人跟随所有url/ads\u count/我做错了什么吗？尝试添加用户代理：*不允许：/ads\u count*/（它应该阻止所有来自ads_count的子目录看看这个：通常它应该是正常的，就像你做的那样。你如何测试它？