使用验证码登录Python Web抓取

使用验证码登录Python Web抓取,python,session,beautifulsoup,python-requests,captcha,Python,Session,Beautifulsoup,Python Requests,Captcha,我必须使用网页抓取功能登录网页,但也需要解决验证码问题。我能够解决验证码问题。我在坚持治疗过程中遇到问题 session = requests.Session() html = session.get(url).content soup = bs(html, 'html.parser') name = soup.find('input', attrs={'id':some_id1}) pass = soup.find('input', attrs={'id':some_id2}) captcha

我必须使用网页抓取功能登录网页,但也需要解决验证码问题。我能够解决验证码问题。我在坚持治疗过程中遇到问题

session = requests.Session()
html = session.get(url).content
soup = bs(html, 'html.parser')
name = soup.find('input', attrs={'id':some_id1})
pass = soup.find('input', attrs={'id':some_id2})
captcha = soup.find('input', attrs={'id':some_id3})
在此之后,我解决验证码

credentials = {
        some_id1 : username,
        some_id2 : password,
        some_id3 : captchatext,
    }
我不知道如何进一步进行会话,我想出了下面的代码,但它不起作用。我也寻找过各种各样的答案,但都不管用

session.post(url, data=credentials)
response = session.get(url).content
soup2 = bs(response, 'html.parser')

我需要从成功登录后打开的URL获取数据。

使用浏览器的开发工具检查在该特定URL上执行的请求。您将找到一个请求url,必须在post方法中与有效负载(即凭据)一起传递该url。然后你会得到正确的回答

使用浏览器的开发工具检查在特定url上完成的请求。您将找到一个请求url,必须在post方法中与有效负载(即凭据)一起传递该url。然后你会得到正确的回答