Indexing robots.txt文件可能无效

这是我的robots.txt。我只允许基本url domain.com用于索引，不允许所有子url，如domain.com/foo和domain.com/bar.html

因为我不确定这是否是一个有效的语法，所以我使用GoogleWebmaster工具对其进行了测试。它向我显示了这条信息

robots.txt file is probably invalid.

我的档案有效吗？是否有更好的方法只允许对基本url进行索引

---

更新：谷歌4小时前下载了my robots.txt。我想这就是它不起作用的原因。我将等待一段时间，如果问题仍然存在，我将再次更新我的问题。

这里是指向验证程序的链接。它可能会帮助您解决文件中的任何错误

我检查了另一个验证器，这是我在第二行得到的：

下面一行中不允许使用*等通配符 必须是允许、禁止、注释或空行语句

这可能是您正在寻找的：

User-Agent: *
Allow: /index.html
Disallow: /

这假设您的主页是index.html

如果index.php是您的主页，您应该能够将index.html替换为index.php

User-Agent: *
Allow: /index.php
Disallow: /

---

在我通过index.php运行的动态网站上，访问mydomain.com/index.php仍然会带我进入主页，因此上面的内容应该可以使用。

我读了这篇文章：但不理解答案。这里还有一个类似的问题可能会有所帮助：index.html不是我的主页，因为所有请求都会指向index.php，它管理内容和布局。因此，我只需要允许基本域。转到yourdomain.com/index.php是否会将您带到主页？是的，因为通过.htaccess重定向到yourdomain.com

User-Agent: *
Allow: /index.php
Disallow: /