Seo GoogleBot通过频繁爬网使服务器过载

我的网站有大约50万页。我制作了sitemap.xml并列出了其中的所有页面（我知道每个文件有50000个链接，所以我有10个站点地图）。不管怎样，我在webmastertool中提交了网站地图，一切看起来都正常（没有错误，我可以看到提交的链接和索引链接）。悬停者我经常有爬行的问题。GoogleBot每天在同一个页面上爬行4次，但在sitemap.xml中，我告诉大家页面每年都会改变

这是一个例子

<url>
    <loc>http://www.domain.com/destitution</loc>
    <lastmod>2015-01-01T16:59:23+02:00</lastmod>
    <changefreq>yearly</changefreq>
    <priority>0.1</priority>
</url>

http://www.domain.com/destitution
2015-01-01T16:59:23+02:00
每年的
0.1

1） 那么，如何告诉谷歌机器人不要频繁爬行，因为它会使我的服务器过载

---

2） 该网站有几个页面，如。。。我把规范的url放到了。这可能是多重爬行的原因吗？

您可以向谷歌爬行团队报告这一情况，请参见此处：

一般来说，像这样的特定谷歌机器人爬行问题是最好的 直接通过网站管理员工具处理。我会浏览这个网站 设置主域、爬网速率，然后使用“报告a” 谷歌机器人的问题。透过此表格提交的意见书 去找我们的谷歌机器人团队，他们可以计算出需要什么（或者如果需要什么） 在我们这边改变。他们通常无法回复，并且 除了爬行问题之外，将无法处理任何其他问题，但是 当然知道谷歌机器人，可以帮助调整它的功能

---

爬行将逐渐减慢。机器人可能会重新访问您的页面，因为您的页面之间存在内部链接

一般来说，规范者倾向于降低爬行率。但一开始，谷歌机器人需要同时抓取源页面和目标页面。稍后您将看到好处

谷歌机器人不一定要考虑

lastmod

和

changefreq

信息。但如果他们建立的内容没有被修改，他们回来的次数就会减少。这是时间问题。每个URL都有一个用于重新访问的计划程序

机器人适应服务器的容量（更多细节请参见我维护）。如果存在问题，您可以通过返回http错误代码500来暂时降低机器人程序的速度。他们会停下来，稍后再回来

---

我不相信你的网站有爬行问题。你看到的是正常的行为。当同时提交多个站点地图时，可以临时提高爬网率。

谢谢您的回答。我将继续检查服务器，并报告结果。你是正确的提交后，爬网已增加。