Bots https://developers.google.com/+/web/snippet/这是一个爬虫机器人吗

当我们向用户发送短信时，我看到来自这个机器人的大量流量。我正在尝试获取有关此机器人的更多详细信息。任何描述它的功能、重要性以及我们能否阻止它的指针都将不胜感激。 完整的用户代理是

Mozilla/5.0（X11；Linux x86_64）AppleWebKit/537.36（KHTML，类似Gecko）Chrome/56.0.2924.87 Safari/537.36 Google(+https://developers.google.com/+/web/snippet/）

---

您可以在nginx配置上阻止谷歌机器人。在服务器{}部分中，添加以下内容：

if ($http_user_agent ~* "developers\.google\.com/\+/web/snippet") {
    return 403;
}

---

Android上的谷歌短信应用程序在抓取共享URL以在聊天室中生成预览时使用此用户代理。这通常是一件好事，因为您的客户将看到预览图像和页面标题，而不仅仅是一个链接。所以我不建议阻止它。

知道这个机器人是否重要吗？我想它们被用来索引谷歌上的搜索，但我不确定。我不得不阻止它，因为它使我的服务器超载。当我们运行SMS活动时，这会导致服务器的流量显著增加。出于某种原因，这也会绕过CDN缓存，可能是因为用户代理。知道怎么处理吗？可能有点晚了，但可能从不同的Googel服务器获得大量流量。这样，许多服务器会命中不同的CDN边缘节点，因此命中率很低。至于如何处理它，您的CDN可能有一种在节点之间共享缓存的方法