umbraco的Robots.txt

umbraco的Robots.txt,umbraco,robots.txt,umbraco7,Umbraco,Robots.txt,Umbraco7,我想知道Umbraco(7.5)网站是否有默认的Robots.txt。 现在,我用这些项目创建了一个。我还要补充什么吗 User-Agent: * Disallow: /umbraco/ Disallow: /umbraco_client/ Disallow: /css Disallow: /Errorpages/ Disallow: /scripts/ Disallow: /Config/ 你应该考虑从列表中删除/CSS和脚本。我相信谷歌会发现这些信息更友好/更好 否则,也可以放/安装/在那

我想知道Umbraco(7.5)网站是否有默认的Robots.txt。 现在,我用这些项目创建了一个。我还要补充什么吗

User-Agent: *
Disallow: /umbraco/
Disallow: /umbraco_client/
Disallow: /css
Disallow: /Errorpages/
Disallow: /scripts/
Disallow: /Config/

<>你应该考虑从列表中删除/CSS和脚本。我相信谷歌会发现这些信息更友好/更好


否则,也可以放/安装/在那里,以防万一。

我最终使用了这个

Sitemap: https://{HTTP_HOST}/sitemap.aspx
User-agent: *
Disallow: /aspnet_client/
Disallow: /bin/
Disallow: /config/
Disallow: /css/
Disallow: /data/
Disallow: /install/
Disallow: /masterpages/
Disallow: /python/
Disallow: /scripts/
Disallow: /umbraco/
Disallow: /umbraco_client/
Disallow: /usercontrols/
Disallow: /xslt/

关于CSS和JS,请检查以下内容:。我最近决定把它们剪掉

我的,总是与Umbraco实例一起使用,robots.txt文件如下所示:

# robots.txt for Umbraco
User-agent: *
Disallow: /aspnet_client/
Disallow: /bin/
Disallow: /config/
Disallow: /data/
Disallow: /install/
Disallow: /macroScripts/
Disallow: /masterpages/
Disallow: /umbraco/
Disallow: /umbraco_client/
Disallow: /usercontrols/
Disallow: /xslt/
User-agent: Libwww-perl
Disallow: /
Sitemap: http://{HTTP_HOST}/sitemap

不要忘记你的
站点地图:/Sitemap.xml
(前提是有一个站点地图)。感谢@jannikAnker的帮助,我还添加了一些:)