Ruby on rails 为robots.txt(rails 4)编写测试

Ruby on rails 为robots.txt(rails 4)编写测试,ruby-on-rails,ruby-on-rails-4,testing,robots.txt,Ruby On Rails,Ruby On Rails 4,Testing,Robots.txt,与机器人打交道我没有多少经验。所以我觉得我想写一些测试来检查我的robots.txt文件是否符合我的要求 是否有一种标准(或任何)方法来编写测试,以检查不允许规则是否按预期工作 澄清编辑: 通过测试,我指的是rspec控制器规范,其行为就像来自机器人,然后断言响应被允许或阻止。谷歌网站管理员工具是分析robots.txt的标准方法。你需要让你的网站在线,例如在它的“登台”环境中,因为我认为你不能从网站管理员那里连接到本地运行的应用程序(除非你的网络设置为将你的机器作为http网关)。谢谢@Max

与机器人打交道我没有多少经验。所以我觉得我想写一些测试来检查我的robots.txt文件是否符合我的要求

是否有一种标准(或任何)方法来编写测试,以检查不允许规则是否按预期工作

澄清编辑:
通过测试,我指的是rspec控制器规范,其行为就像来自机器人,然后断言响应被允许或阻止。

谷歌网站管理员工具是分析robots.txt的标准方法。你需要让你的网站在线,例如在它的“登台”环境中,因为我认为你不能从网站管理员那里连接到本地运行的应用程序(除非你的网络设置为将你的机器作为http网关)。谢谢@MaxWilliams我现在已经设置了网站管理员。但我更想知道的是,如何编写控制器规范,使请求看起来像机器人一样,然后断言响应被允许或阻止。恐怕我从未见过有人将robots.txt测试自动化到他们的测试规范中。不过听起来很酷,祝你好运:)