python请求很慢

python请求很慢,python,download,urllib2,python-requests,urllib,Python,Download,Urllib2,Python Requests,Urllib,我正在开发一个下载管理器。使用python中的requests模块检查有效链接(最好是断开的链接)。 我的代码用于检查以下链接: url = 'http://pyscripter.googlecode.com/files/PyScripter-v2.5.3-Setup.exe' r = requests.get(url, allow_redirects=False) # this line takes 40 seconds if r.status_code==200: print(&qu

我正在开发一个下载管理器。使用python中的requests模块检查有效链接(最好是断开的链接)。 我的代码用于检查以下链接:

url = 'http://pyscripter.googlecode.com/files/PyScripter-v2.5.3-Setup.exe'
r = requests.get(url, allow_redirects=False) # this line takes 40 seconds
if r.status_code==200:
    print("link valid")
else:
    print("link invalid")
现在的问题是,执行此检查大约需要40秒,这是一个巨大的过程。 我的问题是如何使用urllib2或其他东西来加快速度


注意:如果我将
url
替换为http://pyscripter.googlecode.com/files/PyScripter-v2.5.3-Setup.exe,这需要1秒的时间,因此似乎是请求问题。

不要使用实际检索文件的
get
,请使用:

r = requests.head(url,allow_redirects=False)

这在我的机器上从6.9秒变为0.4秒

并非所有主机都支持
头请求。您可以改为使用此选项:

r = requests.get(url, stream=True)
这实际上只是下载标题,而不是响应内容。此外,如果您的想法是在以后获取文件,那么您不必再提出另一个请求


有关更多信息,请参阅。

嘿,谢谢doukremt……事实上,在某些情况下,即使物品在那里,也会显示404。。。谢谢