Ajax 谷歌机器人爬行网络服务

有没有办法让googlebot不抓取用于Web服务的链接？当我尝试在url上访问我的webservice时，如果没有传递任何参数，它将返回500错误。 或者，当我尝试在url中不带参数地访问我的Web服务时，是否有某种方法可以防止http 500错误

---

谢谢。

您可以看看创建robots.txt。

谢谢您的快速回复。另外，我通过jQueryAjax调用webservice，只是想知道如果我将webservice放在robots.txt中，它是否也会阻止googlebot抓取脚本上的链接？对不起，我不擅长这个搜索引擎优化的东西。通过robots.txt，你可以决定哪个URL应该被爬网。因此，如果您有一个页面index.php，它对webservice.php？param1=123¶m2=456执行ajax调用，并且您在robots.txt中输入不应爬网webservice.php，那么它将爬网index.php而不是webservice.php。