Multithreading 发出并发请求时，合理的等待时间是多少？

我正在开发一个爬虫程序，我注意到通过设置每个请求等待1分钟的时间长度，应用程序变得更加可靠，我现在得到的连接重置更少。你能推荐一个合理的等待时间吗？我认为1分钟是比较合适的方法，我希望在理想情况下减少这一时间。

我不认为会有一个简单的答案，它可能太宽泛了。但是，您是否考虑过将所有要访问的URL放在一个队列中？除非你的目标是一个或几个站点，否则仅仅因为你访问了其他站点，你就会自然地延迟。不要因为等待而浪费资源。@Damien_不信者，这是一个好观点和好主意！助教