Web crawler GnuTLS recv错误(-12):已收到TLS致命警报

Web crawler GnuTLS recv错误(-12):已收到TLS致命警报,web-crawler,pycurl,gnutls,Web Crawler,Pycurl,Gnutls,我在多台服务器上使用pycurl进行一些web爬行,并在日志中看到有一些项目返回了标题所示的GnuTLS错误。我手动检查了输入参数,当我在本地运行脚本时,结果很好 我最初的想法是,我可能因为多次点击而被网站屏蔽,但当我研究这个错误时,我发现没有人提到被屏蔽的地方 我不知道这个错误是什么,目前我唯一的解决方案是在它发生时实现类似于指数等待重试的方法。但是,如果有人能提供有关此特定错误的一些知识,我将非常感谢您的输入。我发现GnuTLS recv错误只是一个基于网络活动的错误,原因是站点维护、升级、

我在多台服务器上使用pycurl进行一些web爬行,并在日志中看到有一些项目返回了标题所示的GnuTLS错误。我手动检查了输入参数,当我在本地运行脚本时,结果很好

我最初的想法是,我可能因为多次点击而被网站屏蔽,但当我研究这个错误时,我发现没有人提到被屏蔽的地方


我不知道这个错误是什么,目前我唯一的解决方案是在它发生时实现类似于指数等待重试的方法。但是,如果有人能提供有关此特定错误的一些知识,我将非常感谢您的输入。

我发现GnuTLS recv错误只是一个基于网络活动的错误,原因是站点维护、升级、站点关闭等。因此,解决这个问题的办法是提供重试机制来尝试访问站点。重试机制可能看起来像指数退避,它增加了等待时间并再次尝试访问站点