Python grequests没有得到任何响应

Python grequests没有得到任何响应,python,web-crawler,grequests,Python,Web Crawler,Grequests,我正在使用grequests(以相当慢的速度)对这个网站进行爬网,在最初的几百个请求中,我得到的大部分是200个HTTP响应,但在某一点上,我得到的都是无响应(没有引发任何异常) 最奇怪的是,如果我再次尝试运行爬网,而第一次爬网仍在运行并且没有得到任何响应,那么第二次爬网将收到200个响应 顺便说一下,我很确定我正在爬行的网站没有任何爬行保护 这是我的代码: for x in range(0, len(urls), JUMP): rs = (grequ

我正在使用grequests(以相当慢的速度)对这个网站进行爬网,在最初的几百个请求中,我得到的大部分是200个HTTP响应,但在某一点上,我得到的都是无响应(没有引发任何异常)

最奇怪的是,如果我再次尝试运行爬网,而第一次爬网仍在运行并且没有得到任何响应,那么第二次爬网将收到200个响应

顺便说一下,我很确定我正在爬行的网站没有任何爬行保护

这是我的代码:

for x in range(0, len(urls), JUMP):                 

    rs = (grequests.get(u, stream=False, headers = headers, 
    timeout = 300) for u in urls[x:x+JUMP])     
    responses += grequests.map(rs,exception_handler=nones_exception_handler)

# saves the failed requests so i can try those again later
def nones_exception_handler(request, exception): 
    nonlocal exceptionurls
    print(exception)
    exceptionurls.append(request.url)

什么是非异常处理程序?它是否返回
None
?@Blckknght它只保存失败的请求。我已经编辑了这个问题。什么是
nones\u exception\u handler
?它是否返回
None
?@Blckknght它只保存失败的请求。我已经编辑了这个问题。