Python 有没有更快的方法来检查众多网站的可用性
大家好 这段代码正在检查网站的可用性,但它正在加载整个页面,因此如果我有一个100个网站的列表,则速度会很慢 我的问题是:有什么方法可以更快地做到这一点吗Python 有没有更快的方法来检查众多网站的可用性,python,web-scraping,request,python-requests,Python,Web Scraping,Request,Python Requests,大家好 这段代码正在检查网站的可用性,但它正在加载整个页面,因此如果我有一个100个网站的列表,则速度会很慢 我的问题是:有什么方法可以更快地做到这一点吗 import requests user_agent = {'accept': '*/*', 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/5
import requests
user_agent = {'accept': '*/*', 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36'}
session = requests.Session()
response = session.get("http://google.com", headers=user_agent, timeout=5)
if response.status_code == 200:
print("Checked & avaliable")
else:
print("Not avaliable")
谢谢
我们将感谢您提供的每一项帮助您可以使用:
import urllib.request
print(urllib.request.urlopen("http://www.google.com").getcode())
#output
>>> 200
这段代码正在检查网站是否可用,但它正在加载整个页面
要不加载整个页面,您可以发出HEAD
请求,而不是GET
,因此您只需检查状态即可。看
另一种提高速度的方法是使用多线程或异步IO()发出多个请求。这是否回答了您的问题?谢谢对我来说这是20%faster@EgorVasko如果我的回答对你有帮助,请你接受我的回答!通过点击check图标,如果您从主机上重定向,则授权标题将被删除:google.com将被重定向,因此不可用