Python 找到正确的选择器css在scrapy上抓取网页

Python 找到正确的选择器css在scrapy上抓取网页,python,css,web-scraping,scrapy,web-crawler,Python,Css,Web Scraping,Scrapy,Web Crawler,我正在尝试爬网此网页“”以提取产品名称,但我找不到正确的选择器,即使是价格、h1或标题!我试过: response.css(“.shelfProductTile descriptionLink”)#用于产品名称 response.css(“.price cents”)#的价格 response.css(“.tileList title”)#用于标题 如何继续?内容是从返回json的POST xhr动态加载的,您可以在浏览器的“网络”选项卡中找到 请求发送至: https://www.woolw

我正在尝试爬网此网页“”以提取产品名称,但我找不到正确的选择器,即使是价格、h1或标题!我试过:

response.css(“.shelfProductTile descriptionLink”)#用于产品名称
response.css(“.price cents”)#的价格
response.css(“.tileList title”)#用于标题

如何继续?

内容是从返回json的POST xhr动态加载的,您可以在浏览器的“网络”选项卡中找到

请求发送至:

https://www.woolworths.com.au/apis/ui/browse/category
有效载荷:

{"categoryId":"1_9573995","pageNumber":1,"pageSize":24,"sortType":"TraderRelevance","url":"/shop/browse/drinks/cordials-juices-iced-teas/iced-teas","location":"/shop/browse/drinks/cordials-juices-iced-teas/iced-teas","formatObject":"{\"name\":\"Iced Teas\"}","isSpecial":False,"isBundle":False,"isMobile":False,"filters":"null"}
在使用中有响应:

json.loads(response.body_as_unicode())

这些数据来自XHR。大多数现代网站都做类似的事情。正如我在你的文章中告诉你的,如果你使用正确的用户代理,你将获得一个选择器列表。现在我对xpath选择器更熟悉了,所以我无法帮助您使用css选择器。我无法重现您的说明。你能告诉我你是怎么做的吗?