Web 未实现机器人排除协议（robots.txt）的机器人能否读取网站的任何内容？

报告说：

它不是由任何人强制执行的，也不能保证所有当前和未来的机器人都会使用它。考虑到它是一个常见的设施，大多数机器人作者提供WWW社区来保护WWW服务器免受机器人不必要的访问。

---

这是否意味着一个不好的机器人，没有实现机器人排除协议（robots.txt），可以读取网站的任何内容？

是的。没有机器人被迫遵守规则。

是。该协议是一种标记站点中对机器人爬行毫无意义的部分的方法。这不是一个安全设施

也就是说，网站提供的任何敏感或私有信息都应该仅在经过身份验证的会话中可用。仅使用基于GUID且没有链接的URL或robots.txt来保护此类数据是不够的

有一些令人尴尬的事件，例如，当搜索引擎无意中索引（并缓存）发送手机提供商的短信确认页面，以及短信文本和收件人的电话号码时