Web scraping 如何使Mixnode爬虫爬行速度变慢？

我们每小时超过2000万页，我真的很欣赏它的速度；然而，我担心我可能对目标网站施加了太大的压力，我们有没有办法降低网站的爬网速度？

不确定您为什么要降低速度，因为网站上明确指出：

发送到同一网站的请求之间的最小延迟为10秒。如果网站的robots.txt指令需要更长的延迟，Mixnode将遵循robots.txt指令指定的延迟持续时间

---

该网页说：“Mixnode运行速度极快，同时保持完全礼貌。它遵循robots.txt指令，限制每个网站和IP地址的请求，以防止对web服务器造成过度压力。”因此，也许没有问题？以下是该网站的要点：“发送到同一网站的请求之间至少有10秒的延迟。如果网站的robots.txt指令需要更长的延迟，Mixnode将遵循robots.txt指令指定的延迟持续时间。”