Warning: file_get_contents(/data/phpspider/zhask/data//catemap/9/visual-studio/7.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
使用css时,Scrapy返回空列表_Scrapy - Fatal编程技术网

使用css时,Scrapy返回空列表

使用css时,Scrapy返回空列表,scrapy,Scrapy,我正试图从nordstrom的产品描述中获取信息。我得到了所有的项目链接(存储在本地mongodb中),现在我正在通过它们进行编辑,下面是一个链接示例 我的蜘蛛代码是: def parse(self, response): items = NordstromItem() description = response.css("div._26GPU").css("div::text").extract() items['description'] = description

我正试图从nordstrom的产品描述中获取信息。我得到了所有的项目链接(存储在本地mongodb中),现在我正在通过它们进行编辑,下面是一个链接示例

我的蜘蛛代码是:

def parse(self, response):
    items = NordstromItem()
    description = response.css("div._26GPU").css("div::text").extract()
    items['description'] = description
    yield items
我还尝试了scrapy shell,返回的页面是空白的。
我也在使用scrapy random Agent。

我建议您使用css或xpath选择器来获取所需信息。以下是关于它的更多信息:


您还可以使用css/xpath检查器来帮助确定选择器是否获得您想要的信息。像这样的Chrome Extension:

“我也尝试了scrapy shell,返回的页面是空白的”。听起来好像你被检测为机器人,并给出了错误的响应。这就是你首先需要解决的问题。