Seo robots.txt配置

我对这个机器人档案有一些疑问

User-agent: *
Disallow: /administrator/
Disallow: /css/
Disallow: /func/
Disallow: /images/
Disallow: /inc/
Disallow: /js/
Disallow: /login/
Disallow: /recover/
Disallow: /Scripts/
Disallow: /store/com-handler/
Disallow: /store/img/
Disallow: /store/theme/
Disallow: /store/StoreSys.swf
Disallow: config.php

这将禁用每个文件夹中所有文件的爬虫程序，对吗？ 或者我必须在每个文件夹名称的末尾添加一个星号

我想这应该可以。但是我不确定是否必须在

User-agent

之后添加

Allow://

，我想这是不需要的

这个文件有什么问题吗

PS：如果有人能推荐一个本地使用的验证应用程序，我会很高兴

---

谢谢。

如果我知道你想要什么，就可以了。例如

/administrator/
/css/subpage

都被封锁了，但是

/foo 

是允许的。请注意，Allow是一个不太受支持的扩展，其设计仅用于对抗以前的禁止。你可以使用它，例如，尽管

Disallow: /images/

您决定允许使用特定的图像。所以

Allow: /images/ok_image

---

所有其他图像仍被阻止。您可以查看更多信息，包括跳棋列表。

是的，我想您有。我希望所有的爬虫索引的网站，除了所有这些文件夹和文件内。最后一个php文件。感谢您最后一分钟的编辑。这在我现在的另一个疑问中被证明是有用的。而且确实消除了我对允许条件的任何疑虑。谢谢：D