HttpWebRequest是否遵守.Net中的robots.txt？

我正在为Web开发人员创建一个工具，它将“扫描”他们网站上的HTML

这需要我的Asp.Net应用程序从他们的站点下载一个页面

为了防止滥用，我想确保遵守robots.txt和其他方法

HttpWebRequest已经这样做了吗？或者，在给定用户代理字符串的情况下，是否有一个开源实现可用于验证robots.txt文件？

HttpWebRequest只发出一个HTTP请求。它不遵守robots.txt，因为它不知道它的存在。它需要另一个请求来查看它是否存在并读取其内容，如果它这样做了，默认情况下，您将有50%的开销

对于C实现，请查看以下内容：