Warning: file_get_contents(/data/phpspider/zhask/data//catemap/8/python-3.x/19.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Python 获取inspect元素中的信息_Python_Python 3.x - Fatal编程技术网

Python 获取inspect元素中的信息

Python 获取inspect元素中的信息,python,python-3.x,Python,Python 3.x,我试图在使用浏览器(例如chrome)时查找“inspect”中的所有信息,目前我可以获取页面“source”,但它不包含inspect包含的所有信息 当我尝试使用 with urllib.request.urlopen(section_url) as url: html = url.read() 我收到了以下错误消息:“urllib.error.HTTPError:HTTP错误403:禁止” 现在我假设这是因为我试图获取的url来自https url而不是http url,我

我试图在使用浏览器(例如chrome)时查找“inspect”中的所有信息,目前我可以获取页面“source”,但它不包含inspect包含的所有信息

当我尝试使用

    with urllib.request.urlopen(section_url) as url:
    html = url.read()
我收到了以下错误消息:“urllib.error.HTTPError:HTTP错误403:禁止”

现在我假设这是因为我试图获取的url来自https url而不是http url,我想知道是否有一种特定的方法可以从https获取信息,因为正常的方法不起作用

注意:我也试过这个,但它没有显示所有内容

f = requests.get(url)
print(f.text)

你需要有一个用户代理,让浏览器认为你不是机器人

import urllib.request, urllib.error, urllib.parse

url = 'http://www.google.com' #Input your url
user_agent = 'Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_4; en-US) AppleWebKit/534.3 (KHTML, like Gecko) Chrome/6.0.472.63 Safari/534.3'
headers = { 'User-Agent' : user_agent }
req = urllib.request.Request(url, None, headers)
response = urllib.request.urlopen(req)
html = response.read()
response.close()

改编自

“Inspect”仅向您显示某事物在源代码中的位置。要实现您自己的,您需要制作一个GUI(您自己的浏览器)。此外,403意味着该站点拒绝将数据发送回。也许你没有访问权限。