Javascript 700个由AJAX导致的Google爬网错误？

我最近在一个网站上添加了一个新功能，它使用AJAX加载登录和注册面板

上传后，我得到了谷歌爬网错误吨，近700

错误URL不会出现在页面源中的任何位置，除非是jQuery.load（）函数使用的URL

---

可能是谷歌试图抓取我的JavaScript代码所使用的URL吗？

从谷歌文档中查看此页面，它为您提供了一些关于ajax的想法，以及如何防止机器人弄乱您的ajax内容。特别是“如果我的网站有一些不应该爬网的散列片段URL怎么办？”问题。

谷歌似乎有一种方法可以爬网很多我从未打算让它爬网的URL，所以很可能是的。谢谢，这是阻止谷歌这样做的一种方法吗？我猜是robots.txt？我同意雷兔的说法。我甚至见过谷歌机器人“猜测”它认为可能的URL。你认为我会因此受到惩罚吗？谢谢！我会调查一下的。顺便提一下，谷歌是否会因为内部服务器错误而惩罚你的网站？我的错误代码是500。人们猜测你会因为500个错误而受到惩罚。我找不到任何特别提到“我们惩罚”500人的东西（见他们的网站管理员指南-->），但他们这样做是有道理的，因为他们会因为拼写错误、W3C有效性和其他许多小事情而惩罚。最后，只有真正了解谷歌的人才会为谷歌工作，他们不会告诉你这500家公司对你的影响有多大。顺便说一下：如果你对谷歌机器人如何看待你的网站感兴趣，就用它来显示DNS错误、服务器连接错误以及各种各样的东西。