Hyperlink 谷歌机器人，虚假链接

我对google bot有一个小问题，我有一个服务器在windows server 2009上工作，这个系统叫Workcube，它在coldfusion上工作，内置了一个错误报告器，因此我收到了每一条错误消息，特别是与google bot有关的错误消息，试图转到一个不存在的错误链接！链接如下所示：

---

当然，像brand_id=hoyrrolmwdgldah或brand_id=xxblpflyevlitojg这样的定义是错误的，我不知道问题出在哪里？！需要建议！谢谢大家的帮助！；）

您可能希望使用谷歌网站管理员工具验证您的网站，该工具将提供发现错误的URL

您的日志也是有效的，但您需要验证是否确实是Googlebot攻击您的站点，而不是有人欺骗其用户代理

以下是执行此操作的说明：

基本上，您需要执行反向DNS查找，然后在从反向查找接收主机后执行正向DNS查找

一旦你确认它是真正的谷歌机器人，你就可以开始故障排除了。您可以看到，Google机器人不会请求以前从未见过的URL，这意味着Google机器人不应该发出直接对象引用请求。我怀疑这是一个带有Googlebot用户代理的流氓机器人，但如果不是，你可能想浏览一下你的网站，看看你是否无意中链接到了那些页面

不幸的是，你发布了完整的URL，所以即使你清理了你的站点，Googelbot也会看到来自堆栈溢出的链接，并继续对它们进行爬网，因为它将在它们的爬网队列中

我建议301将这些URL重定向到对用户有意义的地方。否则，我将404或410这些页面，以便谷歌知道从他们的索引删除这些页面

此外，如果这些页面是您不希望被索引的，我建议将路径添加到robots.txt文件中，这样Googlebot就不能继续请求更多这些页面

---

不幸的是，没有真正好的方法告诉谷歌机器人永远不要再抓取这些URL了。你可以随时进入谷歌网站管理员工具，请求从其索引中删除URL，这可能会阻止谷歌机器人再次对其进行爬网，但这并不保证。你可能希望使用谷歌网站管理员工具验证你的网站，该工具将提供发现错误的URL

您的日志也是有效的，但您需要验证是否确实是Googlebot攻击您的站点，而不是有人欺骗其用户代理

以下是执行此操作的说明：

基本上，您需要执行反向DNS查找，然后在从反向查找接收主机后执行正向DNS查找

一旦你确认它是真正的谷歌机器人，你就可以开始故障排除了。您可以看到，Google机器人不会请求以前从未见过的URL，这意味着Google机器人不应该发出直接对象引用请求。我怀疑这是一个带有Googlebot用户代理的流氓机器人，但如果不是，你可能想浏览一下你的网站，看看你是否无意中链接到了那些页面

不幸的是，你发布了完整的URL，所以即使你清理了你的站点，Googelbot也会看到来自堆栈溢出的链接，并继续对它们进行爬网，因为它将在它们的爬网队列中

我建议301将这些URL重定向到对用户有意义的地方。否则，我将404或410这些页面，以便谷歌知道从他们的索引删除这些页面

此外，如果这些页面是您不希望被索引的，我建议将路径添加到robots.txt文件中，这样Googlebot就不能继续请求更多这些页面

---

不幸的是，没有真正好的方法告诉谷歌机器人永远不要再抓取这些URL了。您可以随时进入谷歌网站管理员工具，请求从其索引中删除URL，这可能会阻止谷歌机器人再次对其进行爬网，但这并不保证。

谢谢您的回答！我会试试这个，希望它能帮上忙：）谢谢你的回答！我会试试这个，希望能有帮助：）