Seo 仅允许在index.html上建立SE索引

什么是阻止*的最短方法，并且只允许主要搜索引擎索引站点的索引页

User-agent:  *
Disallow: /

User-agent: Googlebot
Disallow: /
Allow: index.html

User-agent: Slurp
Disallow: /
Allow: index.html

User-agent: msn
Disallow: /
Allow: index.html

---

这行吗？

是的，这是最短的方法。这不一定正确

并非所有机器人程序都支持

Allow

指令。当同时存在一个

用户代理：

部分和一个

用户代理：特定的bot

部分时，一些bot会对如何解释robots.txt感到困惑

为了确保它能正常工作，您需要执行以下操作：

User-agent: Googlebot Disallow: /file1 Disallow: /file2 Disallow: /file3 # etc. until you have blocked every path except index.html User-agent: Slurp Disallow: /file1 Disallow: /file2 Disallow: /file3 # etc. until you have blocked every path except index.html User-agent: msn Disallow: /file1 Disallow: /file2 Disallow: /file3 # etc. until you have blocked every path except index.html User-agent: * Disallow: / 用户代理：谷歌机器人 不允许：/file1 不允许：/file2 不允许：/file3 #等等，直到您阻止了除index.html之外的所有路径 用户代理：Slurp 不允许：/file1 不允许：/file2 不允许：/file3 #等等，直到您阻止了除index.html之外的所有路径 用户代理：msn 不允许：/file1 不允许：/file2 不允许：/file3 #等等，直到您阻止了除index.html之外的所有路径 用户代理：* 禁止：/ 如果你不想做所有这些工作，那么最好的办法就是测试你感兴趣的每一个引擎，看看他们是否会接受你建议的robots.txt文件。如果没有，请尝试较长的版本