Asp.net mvc 为什么Bingbot和Google Bot要寻找Robots.txt文件夹？

我们的robots.txt文件仅包含以下内容：

User-Agent: *
Disallow: /

然而，我们经常收到以下错误。不知道为什么Bingbot和Googlebot都在寻找Robots.txt文件夹

IP: 207.46.13.42
HTTP status code: 404
URL: http://www.website.net/robots.txt/
User Agent: Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)

The following error occurred:

The controller for path '/robots.txt/' was not found or does not implement IController.

IP: 66.249.74.48
HTTP status code: 404
URL: http://www.website.net/robots.txt/
User Agent: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

The following error occurred:

The controller for path '/robots.txt/' was not found or does not implement IController.

---

我们可以对此进行编码，但问题是为什么这些大型机器人会尝试搜索此文件夹？我们robots.txt文件的目标是防止机器人在网站上爬行。从互联网上存在的每一个例子中，我们都正确地设置了robots.txt文件来实现这一点，但我们仍然遇到这些机器人试图访问一个不存在的文件夹，而MVC试图处理它，从而导致异常

如果您自己请求该文件，它是否正常工作？我想知道是否是您的路由工作不正常，对文件的请求被.NET重定向？它们不是。他们会寻找website.net/robots.txt你可能有一个错误的重写将他们发送到这个不存在的文件夹。我可以在我们的域的根目录访问robots.txt文件。因此，它并没有被路由到那个文件夹，至少我无法说出它为什么会被路由到那个文件夹。以下是通过Chrome访问的robots.txt文件：