Search 由于robots.text，谷歌搜索结果说明不可用

我试图在谷歌“DailyMuses”上搜索我的网站，结果如下

它说“由于该网站的robots.txt，无法提供该结果的描述”

我去查看了我的web app中robot.text的内容，内容如下：

# See http://www.robotstxt.org/wc/norobots.html for documentation on how to use the robots.txt file
#
# To ban all spiders from the entire site uncomment the next two lines:
User-Agent: *
Disallow: /

---

有人能告诉我如何绕过这个问题并允许在谷歌搜索中显示描述吗？

删除

robots.txt

。完成了

更新：要允许搜索引擎仅对索引页进行爬网，请使用以下命令：

User-agent: *
Allow: /index.php
Allow: /$
Disallow: /

---

或者用您的索引文件名替换

index.php

，例如

index.html

或

index.jsp

，但我想阻止在站点上爬行，但仍然能够显示描述。这可能吗？如果没有爬行，搜索引擎如何从您的站点获取数据？矛盾的。只允许搜索引擎抓取你的索引怎么样？你能告诉我怎么做吗？谢谢！顺便问一下，这是什么意思？允许：/$

/$

表示它支持

http://www.example.com/

。组合

Allow:/index.php

意味着它支持

http://www.example.com/index.php

。