Python 获取inspect元素中的信息
我试图在使用浏览器(例如chrome)时查找“inspect”中的所有信息,目前我可以获取页面“source”,但它不包含inspect包含的所有信息 当我尝试使用Python 获取inspect元素中的信息,python,python-3.x,Python,Python 3.x,我试图在使用浏览器(例如chrome)时查找“inspect”中的所有信息,目前我可以获取页面“source”,但它不包含inspect包含的所有信息 当我尝试使用 with urllib.request.urlopen(section_url) as url: html = url.read() 我收到了以下错误消息:“urllib.error.HTTPError:HTTP错误403:禁止” 现在我假设这是因为我试图获取的url来自https url而不是http url,我
with urllib.request.urlopen(section_url) as url:
html = url.read()
我收到了以下错误消息:“urllib.error.HTTPError:HTTP错误403:禁止”
现在我假设这是因为我试图获取的url来自https url而不是http url,我想知道是否有一种特定的方法可以从https获取信息,因为正常的方法不起作用
注意:我也试过这个,但它没有显示所有内容
f = requests.get(url)
print(f.text)
你需要有一个用户代理,让浏览器认为你不是机器人
import urllib.request, urllib.error, urllib.parse
url = 'http://www.google.com' #Input your url
user_agent = 'Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_4; en-US) AppleWebKit/534.3 (KHTML, like Gecko) Chrome/6.0.472.63 Safari/534.3'
headers = { 'User-Agent' : user_agent }
req = urllib.request.Request(url, None, headers)
response = urllib.request.urlopen(req)
html = response.read()
response.close()
改编自“Inspect”仅向您显示某事物在源代码中的位置。要实现您自己的,您需要制作一个GUI(您自己的浏览器)。此外,403意味着该站点拒绝将数据发送回。也许你没有访问权限。