了解Python请求模块

了解Python请求模块,python,python-3.x,web-scraping,python-requests,Python,Python 3.x,Web Scraping,Python Requests,因此,我目前正在学习python请求模块,但我有点困惑,想知道是否有人能将我引向正确的方向。我见过一些人在想登录网站时发布标题,但是他们从哪里获得这些标题,你什么时候需要它们?我还看到一些人说您需要身份验证令牌,但我看到一些其他解决方案甚至根本不使用头或身份验证令牌。这应该是身份验证令牌,但在我发布用户名和密码后,我不确定从这里到哪里去 <input type="hidden" name="lt" value="LT-970332-9KawhPFuLomjRV3UQOBWs7NMUQAQX

因此,我目前正在学习python请求模块,但我有点困惑,想知道是否有人能将我引向正确的方向。我见过一些人在想登录网站时发布标题,但是他们从哪里获得这些标题,你什么时候需要它们?我还看到一些人说您需要身份验证令牌,但我看到一些其他解决方案甚至根本不使用头或身份验证令牌。这应该是身份验证令牌,但在我发布用户名和密码后,我不确定从这里到哪里去

<input type="hidden" name="lt" value="LT-970332-9KawhPFuLomjRV3UQOBWs7NMUQAQX7" />

虽然你的问题有点含糊,但我会尽力帮助你

认证 web浏览器客户端可以通过提供数据(通常是登录名/密码对)在目标服务器上进行身份验证,出于安全原因,这些数据通常是经过编码的

可以使用HTTP请求的以下部分将此数据从客户端传递到服务器:

URL参数 标题 正文这是HTML表单中的POST参数通常使用的地方 代币 成功的身份验证后,服务器生成一个唯一的令牌并将其发送给客户端。若服务器希望客户端将令牌存储为cookie,那个么它会在响应中包含Set cookie头

令牌通常表示用户会话的唯一标识符。在大多数情况下,出于安全原因,令牌具有到期日期

Web浏览器通常将令牌作为cookie存储在内部cookie存储中,并在对相应网站的所有后续请求中使用它们。单个网站可以为单个用户使用多个令牌和其他cookie

研究 每个网站都有自己的身份验证格式、规则和限制,所以您需要做的第一件事是对目标网站进行一些研究。您需要获得有关客户端向服务器发送身份验证信息、服务器回复内容以及会话数据存储位置的信息,通常可以在客户端请求头中找到这些信息

为了做到这一点,您可以使用代理来拦截浏览器流量。它可以帮助您将数据从客户端传递到服务器并返回

尝试进行身份验证,然后使用带有代理的web浏览器浏览目标站点上的某些页面。然后,使用代理检查客户端和浏览器使用HTTP请求/响应的哪些部分来存储有关会话和身份验证的信息

在这之后,您最终可以使用python和请求来做您想做的事情