Networking 如何检测接收到的网络超时是否是由于请求端点或中间对象(如http代理)造成的

Networking 如何检测接收到的网络超时是否是由于请求端点或中间对象(如http代理)造成的,networking,tcp,web-crawler,proxies,Networking,Tcp,Web Crawler,Proxies,作为编写爬虫程序的一部分(在Node.js中,但实际上不是重点),我有时会收到超时和其他网络异常。某些异常(如http错误代码)可以正确地归因于目标请求端点。其他的,比如我自己配置的超时,更难(不可能?)确定 例如,在使用http代理进行爬网时,如何检查异常(如提到的超时)是由于代理还是由于请求端点造成的?您应该能够依靠代理尽可能快地中继它得到的任何内容,除非它是一个自行开发的程序,在这种情况下,任何事情都是可能的。因此,您应该将所有超时视为源于上游服务器

作为编写爬虫程序的一部分(在Node.js中,但实际上不是重点),我有时会收到超时和其他网络异常。某些异常(如http错误代码)可以正确地归因于目标请求端点。其他的,比如我自己配置的超时,更难(不可能?)确定


例如,在使用http代理进行爬网时,如何检查异常(如提到的超时)是由于代理还是由于请求端点造成的?

您应该能够依靠代理尽可能快地中继它得到的任何内容,除非它是一个自行开发的程序,在这种情况下,任何事情都是可能的。因此,您应该将所有超时视为源于上游服务器