Networking 如何查找标题数据和名称?(Python请求)

Networking 如何查找标题数据和名称?(Python请求),networking,python-requests,Networking,Python Requests,我想使用请求在登录站点上进行web刮取。我已经使用selenium编写了代码,但这样做非常不方便,而且速度也较慢,因为我想公开它(每个用户都必须下载chrome驱动程序) 问题是,该站点有多个请求,我没有处理这些数据并提取标题数据和名称的经验。任何帮助都很好,谢谢。[前提] 使用“请求”模块,您可以通过以下方式发送请求: 导入请求 url=”http://www.example.com“#请求url headers={#要在请求中发送的headers dict “标题\名称”:“标题\值”, }

我想使用请求在登录站点上进行web刮取。我已经使用selenium编写了代码,但这样做非常不方便,而且速度也较慢,因为我想公开它(每个用户都必须下载chrome驱动程序)

问题是,该站点有多个请求,我没有处理这些数据并提取标题数据和名称的经验。任何帮助都很好,谢谢。

[前提]

使用“请求”模块,您可以通过以下方式发送请求:

导入请求
url=”http://www.example.com“#请求url
headers={#要在请求中发送的headers dict
“标题\名称”:“标题\值”,
}
params={#要在url中编码的params
“参数名称”:“参数值”,
}
data={#要在请求正文中发送的数据
“数据名称”:“数据值”,
}
#发送GET请求。
获取(url,params=params,headers=headers)
#发送POST请求。
requests.post(url,params=params,headers=headers,data=data)
执行请求后,您可以从响应对象获得很多信息:

导入请求 #我们执行一个请求并获得响应对象。 >>>response=requests.get(url,params=params,headers=headers) >>>response=requests.post(url,params=params,headers=headers,data=data) >>>response.status_代码#服务器响应状态代码 >>>200例。 >>>response.request.method >>>“获取”或最终“发布” >>>response.request.headers#随请求一起发送的头 >>>{'Accept-Encoding':'gzip,deflate,br'}。 >>>response.request.url#已发送请求url >>> 'http://www.example.com' >>>回应 >>>“name=value&name=value2”#例如。 总之,您可以从响应对象检索在浏览器的Dev工具中可以找到的所有信息。你不需要别的了。

发送GET或POST请求后,您可以从开发工具中检索信息:

一般来说

请求URL:将请求发送到的URL。对应于response.request.url 请求方法:对应于response.Request.Method 状态代码:对应于response.Status\u代码

在响应标题中

您可以找到与response.headers相对应的响应标头

联系:保持活力, 内容长度:0, 内容类型:text/html;字符集=UTF-8

在请求头中

您可以找到与response.request.headers对应的请求标头

表单数据中的数据

您可以在requests.post中找到使用data关键字传递的数据。
对应于response.request.body

对不起,您是指响应标题吗?在网络选项卡(浏览器)中,当您转到新选项卡时,所有数据都记录在那里,包括标题。问题是,由于我必须登录,因此禁止我在没有任何标题的情况下使用python请求进入网站。我不知道如何处理这些数据,chrome开发工具提供的信息中有这些数据的名称。嗨,我真的不知道从哪里获取标题。我有点理解,但我找不到任何数据。我尝试访问的网站登录是。我成功登录,也感谢您的耐心,最初我以为只有一个名称和数据字符串。但现在我不知道如何进入特定的URL。我想转到请求url要将请求发送到url,只需使用session.get(请求url)或session.post(请求url)。当我这样做时,它会阻止我,我是否必须像以前那样做?