Python Appengine应用程序Vs谷歌机器人网络爬虫

我构建了一个appengine web应用程序cricket.hover.in。该web应用程序由大约15k个url组成 链接，但即使在我发布很长一段时间后，谷歌上也没有任何页面被索引

我的根站点hover.in上的任何基本链接都将在几分钟内被编入索引。 但是我把同一个链接放在了根站点的主页上很久了。但这没有用

如果cricket.hover.in或 如果机器人程序与谷歌应用程序引擎有任何问题

实际测试的网址使用实验室应用程序的网站管理员工具谷歌那里的回报是好的，html是明确的

但是当在下面的URL上测试相同的（cricket.hover.in）时，它会显示不同的失败结果

www.dnsqueries.com/en/googlebot_simulator.php

www.smart-it-consulting.com/internet/google/googlebot-spoofer/

但是如果我在上面的url上测试一些php或word press链接，结果会很好

---

对不起，我犯了错误，请原谅我的误导。域是cricket.trak.in/，其引用自基本URL trak.in。在经过长时间的调查后，我犯了一个半途而废的错误，没有找到解决问题的办法。请检查此域

3天前提交的站点地图几乎总共提交了22k uri，但到目前为止，索引数量仍然为0

---

其次，cricket.trak.本身不会返回15k uri，我的意思是，如果爬网，该站点总共会返回15k uri。

您的站点是否有合适的uri，您是否将其推送到谷歌和其他搜索引擎？我无法检查，因为

http://cricket.hover.in

给了我一个404，所以可能是DNS问题。当您将浏览器指向该URL时会发生什么情况？

嗯，在网络空间的这个角落，没有这样的域名cricket.hover.in

$ dig cricket.hover.in.
; <<>> DiG 9.6.1-P2 <<>> cricket.hover.in.
;; ->>HEADER<<- opcode: QUERY, status: NXDOMAIN, id: 30665

$dig cricket.hover.in。
;  挖9.6.1-P2 cricket.hover.in。
;; ->>HEADER@msw，我认为典型的蜘蛛会收集这样一个URL（当然，如果可以访问的话——我们都注意到DNS isues——特别是如果正确地将站点地图ped），并对其内容进行索引，尽管它的排名可能非常低。