Python 连接时出现刮痕冻结超时

Python 连接时出现刮痕冻结超时,python,timeout,web-crawler,scrapy,twisted,Python,Timeout,Web Crawler,Scrapy,Twisted,我写了一个非常不可靠的网络连接的爬行程序。这是一件既定的事情。我不能轻易或廉价地改变它-偶尔互联网连接会丢失,几秒钟后就会恢复 我观察到的行为是,Scrapy 18.4爬虫会无限期冻结,而不会打印任何错误消息。它停止了对Ctrl+C的反应,这让我觉得这发生在反应堆堆的深处,尽管我不能确定 绝对没有错误消息使调试变得毫无希望 问题:关于如何调试这个问题,有人有什么线索吗?由于上面列出的原因,我没有任何有意义的日志可以附加。嗯,好吧,在尝试了一些随机的事情之后,我似乎通过从12.x升级到Twiste

我写了一个非常不可靠的网络连接的爬行程序。这是一件既定的事情。我不能轻易或廉价地改变它-偶尔互联网连接会丢失,几秒钟后就会恢复

我观察到的行为是,Scrapy 18.4爬虫会无限期冻结,而不会打印任何错误消息。它停止了对Ctrl+C的反应,这让我觉得这发生在反应堆堆的深处,尽管我不能确定

绝对没有错误消息使调试变得毫无希望


问题:关于如何调试这个问题,有人有什么线索吗?由于上面列出的原因,我没有任何有意义的日志可以附加。

嗯,好吧,在尝试了一些随机的事情之后,我似乎通过从12.x升级到Twisted 13.2解决了这个问题。我会通知你的。更正:不,不是这样。