Python 在AJAX应用程序下创建产品价格列表
第一次在这里发布。我刚刚完成了我的第一门Python课程,所以我一直在尝试自己做一些web抓取,但没有成功 当我运行我的代码时,我得到了一个空字典,我真的不明白我该怎么做。 我一直在做一些研究,似乎我正在尝试抓取的页面使用了一个AJAX应用程序,可能需要一些其他类型的技术 我注意到我试图收集的信息(产品价格列表)位于以下标签下: 这是我的代码,最终结果是: 200(据我所知,这表明该页面已被正确访问) []Python 在AJAX应用程序下创建产品价格列表,python,ajax,web-scraping,product,price,Python,Ajax,Web Scraping,Product,Price,第一次在这里发布。我刚刚完成了我的第一门Python课程,所以我一直在尝试自己做一些web抓取,但没有成功 当我运行我的代码时,我得到了一个空字典,我真的不明白我该怎么做。 我一直在做一些研究,似乎我正在尝试抓取的页面使用了一个AJAX应用程序,可能需要一些其他类型的技术 我注意到我试图收集的信息(产品价格列表)位于以下标签下: 这是我的代码,最终结果是: 200(据我所知,这表明该页面已被正确访问) [] 如果能听到一些关于这方面的建议,我将不胜感激。对于我对这个话题的无知,我深表歉意。欢迎来
如果能听到一些关于这方面的建议,我将不胜感激。对于我对这个话题的无知,我深表歉意。欢迎来到SO!此登录已被阻止,因此如果没有登录,基本上无法提供帮助。很有可能,这些产品是动态注入JS的,所以如果它们不是初始静态HTML负载的一部分,BS就不能为您做很多事情。看这回答了你的问题吗?你好非常感谢您的回复。如果我给你发送登录详细信息会有帮助吗?我真的很难做到这一点,我真的不太理解你发给我的许多编码说明。我几乎只限于Youtube教程:(
from bs4 import BeautifulSoup as bs
import requests
URL = 'https://b2b.devir.cl/'
LOGIN_ROUTE= 'customer/account/login/'
HEADERS={'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.85 Safari/537.36', 'origin':URL, 'referer':URL+LOGIN_ROUTE}
s=requests.session()
front_end=s.get(URL).cookies['frontend']
login_payload = {
'login[username]': 'xxxx',
'login[password]': 'yyyy',
'form_key': front_end
}
login_req = s.post(URL+LOGIN_ROUTE, headers=HEADERS, data=login_payload)
print(login_req.status_code)
cookies=login_req.cookies
r=requests.get(URL+'juegos-de-mesa.html?po_stock=1')
soup=bs(r.content,'lxml')
productlist=[]
productlist=soup.find_all('div', {'class': 'category-products'})
print(productlist)