大型php站点地图（使用数据库连接）是否会降低服务器速度/使服务器陷入困境？

昨天，我根据以下示例为我的网站制作了一个php网站地图：

它使用到数据库的mysqli连接。我在那个网站地图上有大约40000个URL。我昨晚没有注意到任何不好的事情，但今天网站已经关闭了3次。我在一个专用的服务器上，有足够的空间和资源，但我想知道新的站点地图是否与服务器关闭有关。我联系了我的主机提供商，他们说他们没有任何停机或问题。我的网站关闭时会给我500个错误。我有两个问题：

网站地图是否会被垃圾邮件机器人过度抓取，进而导致服务器瘫痪

当涉及到站点地图时，从数据库检索40K+URL会被认为是一种糟糕的做法吗

---

喜欢听你的宝贵意见。

是的，互联网上链接的所有东西都会被机器人抓取，无论是好的还是坏的，而且它们很多。是的，不断请求一个40K行数据库表的完整列表不是一个好的做法。这些URL多久更改一次？你不能每天只将其写入文件系统一次吗？URL不断变化，但可能每小时/天只有大约5K个URL。其余的每天/每周/每月都会发生变化。也许对我来说最好的解决方案就是请求最新的5K URL？即使机器人不停地扫描站点地图，服务器也可能很容易处理。你能使用URL更改后被替换的静态站点地图文件吗？url更改触发作业，作业将新静态映射构建为新文件，交换旧文件和新文件。这仍然是每天5000 db的回迁，除非您可以批量更改（更新N个URL，然后再进行静态文件更新。）我可以试试。我以前没做过。这将是另一次学习经验。@DaveS完成了，完成了。使用了这个家伙的一般想法：工作得很好。是的，互联网上所有链接的东西都被机器人抓取，无论是好的还是坏的，而且有很多。是的，不断请求一个40K行数据库表的完整列表不是一个好的做法。这些URL多久更改一次？你不能每天只将其写入文件系统一次吗？URL不断变化，但可能每小时/天只有大约5K个URL。其余的每天/每周/每月都会发生变化。也许对我来说最好的解决方案就是请求最新的5K URL？即使机器人不停地扫描站点地图，服务器也可能很容易处理。你能使用URL更改后被替换的静态站点地图文件吗？url更改触发作业，作业将新静态映射构建为新文件，交换旧文件和新文件。这仍然是每天5000 db的回迁，除非您可以批量更改（更新N个URL，然后再进行静态文件更新。）我可以试试。我以前没做过。这将是另一次学习经验。@DaveS完成了，完成了。使用了这个家伙的一般想法：工作很漂亮。