Web crawler Googlebot在短时间内请求相同页面

我每周都在分析谷歌机器人要求抓取的网页。我可以看到谷歌机器人在一天内请求同一页面超过1500次。这个页面是我的登录页面，它基本上作为网站模板的一部分出现在我网站的所有页面上

我担心这种重复爬行造成的带宽浪费。 我还有其他的URL，它们再次出现在每个页面上，每周每天都会被爬网300多次。我已经证实这是一个真正的谷歌机器人。 这种行为正常吗？

---

这与许多其他页面上出现该页面有关吗？

我觉得这很正常。如果您对此不满意，您可以从设置中的

googlewebmasters

限制爬网速度。他们建议你不要这样做，除非谷歌让你的服务器变慢。以下是他们的信息：

除非谷歌放慢了你的服务器速度，否则不要限制爬网速度。

这些高请求量是因为来自其他页面的登录重定向。我看到一些搜索结果页面和产品详细信息页面在一周内被请求50次，其中有13-15天被请求该页面。另一方面，其他搜索结果页面和产品详细信息页面每周仅被请求1-2次。这与更多的页面链接到这些页面以及机器人更频繁地遇到这些页面有关吗？或者机器人程序与这些页面有着更好的SERP/页面价值，这在我看来很正常。如果您对此不满意，您可以从设置中的

googlewebmasters

限制爬网速度。他们建议你不要这样做，除非谷歌让你的服务器变慢。以下是他们的信息：

除非谷歌放慢了你的服务器速度，否则不要限制爬网速度。

这些高请求量是因为来自其他页面的登录重定向。我看到一些搜索结果页面和产品详细信息页面在一周内被请求50次，其中有13-15天被请求该页面。另一方面，其他搜索结果页面和产品详细信息页面每周仅被请求1-2次。这与更多的页面链接到这些页面以及机器人更频繁地遇到这些页面有关吗？或机器人程序与这些页面的关联性，以获得更好的SERP/页面值。