为ASP.NET MVC站点创建robots.txt

我正在为我的网站创建一个robots.txt文件，但是通过查看我的项目结构，我不确定应该禁止什么

我是否需要禁止标准的.NET MVC目录和文件，如/App_Data、/web.config、/Controllers、/Models、/Global.asax？还是那些还没有被编入索引

像/bin和/obj这样的目录呢

如果我想禁止页面，我是不允许/Views/MyPage/Index.cshtml还是/MyPage

---

另外，在robots.txt文件中指定站点地图时，我可以使用我的Web.sitemap吗，还是需要使用不同的xml文件？

“robots.txt”指的是从网络爬虫中公开看到的路径

爬虫没有什么特别之处：它只是像用户一样使用HTTP从您的站点请求页面

因此，如果您的MVC站点配置正确，像

/web.config

这样的文件或您提到的路径对于外部世界将是不可见的，因为IIS和您的应用程序都不会被配置为服务于它们。即使指向这些文件，爬行器也会收到404 Not Found并继续

---

类似地，您的

.cshtml

或

.aspx

内容文件也不会显示这些扩展名。相反，网络爬虫将准确地看到您将向用户显示的内容。

建议您单独询问有关

站点地图的问题-这是一个值得单独回答的好问题。