Google app engine 谷歌Gae:Unreachable robots.txt

我已将robots.txt上传到我的url

http://watchmariyaanmovieonline.appspot.com/robots.txt

，但是当我使用谷歌网站管理员并在我的主页上使用谷歌抓取

http://watchmariyaanmovieonline.appspot.com/

i get errorunreable robots.txt

您的

robots.txt

内容有一个空

Disallow

，因此您会收到该错误

 User-agent: * 
 Disallow:  
 Disallow: /cgi-bin/ 
 Sitemap: http://watchmariyaanmovieonline.appspot.com/sitemap.xml

更新至：

User-agent: *
Disallow: /cgi-bin/
Sitemap: http://watchmariyaanmovieonline.appspot.com/sitemap.xml

它应该工作得很好，如果有帮助，请告诉我：）