基于Javascript的网页抓取登录
我正试图为sbrborbits.com编写一个刮削引擎。不幸的是,我需要登录以获取正确的数据。我研究了mechanize和selenium,但遗憾的是,我在python和web抓取方面非常差,不知道如何使用它们 以下是登录框的Chrome inspect elements页面的屏幕截图:基于Javascript的网页抓取登录,javascript,python,selenium,mechanize,Javascript,Python,Selenium,Mechanize,我正试图为sbrborbits.com编写一个刮削引擎。不幸的是,我需要登录以获取正确的数据。我研究了mechanize和selenium,但遗憾的是,我在python和web抓取方面非常差,不知道如何使用它们 以下是登录框的Chrome inspect elements页面的屏幕截图: 有没有人能提供一些建议,说明我应该使用什么技术在Python代码中登录这个站点?目标是最终将登录页面的数据加载到BeautifulSoup中。通常只要请求就足够了。。。为什么需要基于javascript im
有没有人能提供一些建议,说明我应该使用什么技术在Python代码中登录这个站点?目标是最终将登录页面的数据加载到BeautifulSoup中。通常只要请求就足够了。。。为什么需要基于javascript
import requests
r = requests.Session()
r.post("http://sbrodds.com/login",{"username":"bob","password":"sagat"})
content = r.get("http://sbrodds.com/some_page").text
至少是这样的。。。(您可能需要一个csrf_令牌或其他东西)通常只要请求就足够了。。。为什么需要基于javascript
import requests
r = requests.Session()
r.post("http://sbrodds.com/login",{"username":"bob","password":"sagat"})
content = r.get("http://sbrodds.com/some_page").text
至少是这样的。。。(您可能还需要一个csrf_令牌或其他东西)