Seo 如何验证Robot.txt规则

我已经写了一些规则来阻止Robot.txt中的几个URL，现在我想改变这些规则。是否有用于验证robot.txt的工具

我写了这条规则：

Disallow: /classifieds/search*/    

要阻止这些URL，请执行以下操作：

http://example.com/classifieds/search?filter_states=4&filter_frieght=8&filter_driver=2
http://example.com/classifieds/search?keywords=Covenant+Transport&type=Carrier
http://example.com/classifieds/search/
http://example.com/classifieds/search

我还想知道这些规则之间有什么区别

Disallow: /classifieds/search*/
Disallow: /classifieds/search/
Disallow: /classifieds/search

---

使用robots.txt的问题在于，它本身无法阻止任何内容，而是要求webcrawler不要对站点的某些区域进行爬网

至于验证，如果语法有效，它应该可以工作，并且您可以监视服务器日志，查看一些已知的兼容bot在读取robots.txt后是否会避开这些目录。当然，这取决于访问您的站点的机器人是否符合标准

可以使用很多在线验证器，例如

说到这三条规则：

**Disallow:/classifieds/search*/**

不允许名称以搜索开头的目录中的任何内容，但不允许目录本身

**不允许：/classifieds/search/**

禁止名为search的目录中的任何内容

**不允许：/classifieds/search**

---

不允许任何以搜索开始的目录我自己没有测试过，但是你试过了吗？ 至于这三条规则之间的区别，我得这么说

• Disallow:/classifieds/search*/

  禁止以“search”开头的/classifieds/的所有子目录

• Disallow:/classifieds/search/

  仅禁止/classifieds/search/目录

• Disallow:/classifieds/search

  禁止访问名为/classifieds/search的文件

---

您的规则

不允许：/classifieds/search*/

不符合您的要求

首先，请注意，

*

字符在中没有特殊含义。但有些解析器将其用作模式匹配的通配符。假设您仅对这些解析器使用此规则：

根据您的示例，此规则只会阻止

http://example.com/classifieds/search/

。其他三个URL在

搜索之后没有
/



禁止：/classifieds/search


→ 阻止路径以
/classifieds/search

禁止：/classifieds/search/


→ 阻止路径以
/classifieds/search/

禁止：/classifieds/search*/


→ 对于遵循原始规范的解析器：阻止路径以
/classifieds/search*/


→ 对于使用
*
作为通配符的解析器：阻止路径以
/classifieds/search
开头的所有URL，后跟anything，后跟
/



要阻止四个示例URL，只需使用以下内容：

User-agent: *
Disallow: /classifieds/search

这将阻止，例如：


http://example.com/classifieds/search?filter=4
http://example.com/classifieds/search/
http://example.com/classifieds/search/foo
http://example.com/classifieds/search
http://example.com/classifieds/search.html
http://example.com/classifieds/searching
Aw Jarmud发布速度更快。很遗憾，我不能添加评论。但是最后一行不是不允许一个名为search的文件而不是目录吗？该文件必须命名为
robots.txt
，而不是
robot.txt
。