Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/python/351.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Python 有没有更快的方法来检查众多网站的可用性_Python_Web Scraping_Request_Python Requests - Fatal编程技术网

Python 有没有更快的方法来检查众多网站的可用性

Python 有没有更快的方法来检查众多网站的可用性,python,web-scraping,request,python-requests,Python,Web Scraping,Request,Python Requests,大家好 这段代码正在检查网站的可用性,但它正在加载整个页面,因此如果我有一个100个网站的列表,则速度会很慢 我的问题是:有什么方法可以更快地做到这一点吗 import requests user_agent = {'accept': '*/*', 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/5

大家好

这段代码正在检查网站的可用性,但它正在加载整个页面,因此如果我有一个100个网站的列表,则速度会很慢

我的问题是:有什么方法可以更快地做到这一点吗

import requests
user_agent = {'accept': '*/*', 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36'}

session = requests.Session()
response = session.get("http://google.com", headers=user_agent, timeout=5)
if response.status_code == 200:
    print("Checked & avaliable")
else:
    print("Not avaliable")
谢谢

我们将感谢您提供的每一项帮助

您可以使用:

import urllib.request
print(urllib.request.urlopen("http://www.google.com").getcode())
#output
>>> 200
这段代码正在检查网站是否可用,但它正在加载整个页面

要不加载整个页面,您可以发出
HEAD
请求,而不是
GET
,因此您只需检查状态即可。看


另一种提高速度的方法是使用多线程或异步IO()发出多个请求。

这是否回答了您的问题?谢谢对我来说这是20%faster@EgorVasko如果我的回答对你有帮助,请你接受我的回答!通过点击check图标,如果您从主机上重定向,则授权标题将被删除:google.com将被重定向,因此不可用