Networking 如何查找标题数据和名称?(Python请求)
我想使用请求在登录站点上进行web刮取。我已经使用selenium编写了代码,但这样做非常不方便,而且速度也较慢,因为我想公开它(每个用户都必须下载chrome驱动程序) 问题是,该站点有多个请求,我没有处理这些数据并提取标题数据和名称的经验。任何帮助都很好,谢谢。[前提] 使用“请求”模块,您可以通过以下方式发送请求:Networking 如何查找标题数据和名称?(Python请求),networking,python-requests,Networking,Python Requests,我想使用请求在登录站点上进行web刮取。我已经使用selenium编写了代码,但这样做非常不方便,而且速度也较慢,因为我想公开它(每个用户都必须下载chrome驱动程序) 问题是,该站点有多个请求,我没有处理这些数据并提取标题数据和名称的经验。任何帮助都很好,谢谢。[前提] 使用“请求”模块,您可以通过以下方式发送请求: 导入请求 url=”http://www.example.com“#请求url headers={#要在请求中发送的headers dict “标题\名称”:“标题\值”, }
导入请求
url=”http://www.example.com“#请求url
headers={#要在请求中发送的headers dict
“标题\名称”:“标题\值”,
}
params={#要在url中编码的params
“参数名称”:“参数值”,
}
data={#要在请求正文中发送的数据
“数据名称”:“数据值”,
}
#发送GET请求。
获取(url,params=params,headers=headers)
#发送POST请求。
requests.post(url,params=params,headers=headers,data=data)
执行请求后,您可以从响应对象获得很多信息:
导入请求
#我们执行一个请求并获得响应对象。
>>>response=requests.get(url,params=params,headers=headers)
>>>response=requests.post(url,params=params,headers=headers,data=data)
>>>response.status_代码#服务器响应状态代码
>>>200例。
>>>response.request.method
>>>“获取”或最终“发布”
>>>response.request.headers#随请求一起发送的头
>>>{'Accept-Encoding':'gzip,deflate,br'}。
>>>response.request.url#已发送请求url
>>> 'http://www.example.com'
>>>回应
>>>“name=value&name=value2”#例如。
总之,您可以从响应对象检索在浏览器的Dev工具中可以找到的所有信息。你不需要别的了。
发送GET或POST请求后,您可以从开发工具中检索信息:
一般来说:
请求URL:将请求发送到的URL。对应于response.request.url
请求方法:对应于response.Request.Method
状态代码:对应于response.Status\u代码
在响应标题中:
您可以找到与response.headers相对应的响应标头
联系:保持活力,
内容长度:0,
内容类型:text/html;字符集=UTF-8
在请求头中:
您可以找到与response.request.headers对应的请求标头
表单数据中的数据:
您可以在requests.post中找到使用data关键字传递的数据。
对应于response.request.body对不起,您是指响应标题吗?在网络选项卡(浏览器)中,当您转到新选项卡时,所有数据都记录在那里,包括标题。问题是,由于我必须登录,因此禁止我在没有任何标题的情况下使用python请求进入网站。我不知道如何处理这些数据,chrome开发工具提供的信息中有这些数据的名称。嗨,我真的不知道从哪里获取标题。我有点理解,但我找不到任何数据。我尝试访问的网站登录是。我成功登录,也感谢您的耐心,最初我以为只有一个名称和数据字符串。但现在我不知道如何进入特定的URL。我想转到请求url要将请求发送到url,只需使用session.get(请求url)或session.post(请求url)。当我这样做时,它会阻止我,我是否必须像以前那样做?