Web crawler 一个人如何礼貌地在一个网站上爬行？

我最近对网络爬网感兴趣，并了解robots.txt的指导原则，但我对每秒处理的页面数以及在任何给定时间爬网单个网站时应设置的线程数的具体内容感兴趣。任何一般性的指导方针都是非常受欢迎的，因为我不想表现得不礼貌、具有破坏性，或者冒着被网站屏蔽的风险

此外，我意识到不同的网站会因我的爬行而承受不同程度的压力，所以我欢迎任何关于如何正确评估和解释这一点的建议