使用css时,Scrapy返回空列表
我正试图从nordstrom的产品描述中获取信息。我得到了所有的项目链接(存储在本地mongodb中),现在我正在通过它们进行编辑,下面是一个链接示例 我的蜘蛛代码是:使用css时,Scrapy返回空列表,scrapy,Scrapy,我正试图从nordstrom的产品描述中获取信息。我得到了所有的项目链接(存储在本地mongodb中),现在我正在通过它们进行编辑,下面是一个链接示例 我的蜘蛛代码是: def parse(self, response): items = NordstromItem() description = response.css("div._26GPU").css("div::text").extract() items['description'] = description
def parse(self, response):
items = NordstromItem()
description = response.css("div._26GPU").css("div::text").extract()
items['description'] = description
yield items
我还尝试了scrapy shell,返回的页面是空白的。
我也在使用scrapy random Agent。我建议您使用css或xpath选择器来获取所需信息。以下是关于它的更多信息:
您还可以使用css/xpath检查器来帮助确定选择器是否获得您想要的信息。像这样的Chrome Extension:“我也尝试了scrapy shell,返回的页面是空白的”。听起来好像你被检测为机器人,并给出了错误的响应。这就是你首先需要解决的问题。