Python 3.x Python 3.5 urllib.request 403禁止的错误

Python 3.x Python 3.5 urllib.request 403禁止的错误,python-3.x,beautifulsoup,urllib,http-status-code-403,Python 3.x,Beautifulsoup,Urllib,Http Status Code 403,我试图去上面的网站,代码不断地抛出403禁止的错误 有什么想法吗 C:\Users\jerem\AppData\Local\Programs\Python\Python35-32\Python.exe“C:/Users/jerem/PycharmProjects/webscraper/url scraper.py” 回溯(最近一次呼叫最后一次): 文件“C:/Users/jerem/PycharmProjects/webscraper/url scraper.py”,第7行,在 page=ur

我试图去上面的网站,代码不断地抛出403禁止的错误

有什么想法吗

C:\Users\jerem\AppData\Local\Programs\Python\Python35-32\Python.exe“C:/Users/jerem/PycharmProjects/webscraper/url scraper.py” 回溯(最近一次呼叫最后一次): 文件“C:/Users/jerem/PycharmProjects/webscraper/url scraper.py”,第7行,在 page=urllib.request.urlopen(url) 文件“C:\Users\jerem\AppData\Local\Programs\Python\Python35-32\lib\urllib\request.py”,urlopen中的第163行 返回opener.open(url、数据、超时) 打开文件“C:\Users\jerem\AppData\Local\Programs\Python\Python35-32\lib\urllib\request.py”,第472行 响应=方法(请求,响应) 文件“C:\Users\jerem\AppData\Local\Programs\Python\Python35-32\lib\urllib\request.py”,第582行,在http\U响应中 “http”、请求、响应、代码、消息、hdrs) 文件“C:\Users\jerem\AppData\Local\Programs\Python\Python35-32\lib\urllib\request.py”第510行出错 返回自我。调用链(*args) 文件“C:\Users\jerem\AppData\Local\Programs\Python\Python35-32\lib\urllib\request.py”,第444行,在调用链中 结果=func(*args) 文件“C:\Users\jerem\AppData\Local\Programs\Python\Python35-32\lib\urllib\request.py”,第590行,默认为http\u error\u raise HTTPError(请求完整的url、代码、消息、hdrs、fp) urllib.error.HTTPError:HTTP错误403:禁止

输出:

BrightScope评级
首先,使用
请求
而不是
urllib


然后,将
标题添加到
请求
,如果不添加,网站将禁止您的,因为默认的
用户代理
是爬虫,而网站不喜欢爬虫。

可能重复您能解释为什么建议使用
请求
而不是
urllib
?那么
urllib2
呢?
import urllib.request
import urllib
from bs4 import BeautifulSoup


url = "https://www.brightscope.com/ratings"
page = urllib.request.urlopen(url)
soup = BeautifulSoup(page, "html.parser")

print(soup.title)
import requests
from bs4 import BeautifulSoup


url = "https://www.brightscope.com/ratings"
headers = {'User-Agent':'Mozilla/5.0'}
page = requests.get(url)
soup = BeautifulSoup(page.text, "html.parser")

print(soup.title)
<title>BrightScope Ratings</title>