Scrapy保持返回空值

我在刮

我想从页面中提取每个产品（或项目）的链接。我使用scrapy shell进行测试，但它始终返回空值[]

以下是我使用的代码：

response.xpath('*//h2[@class="item-cell-name"]/a/@href')

---

任何帮助都将不胜感激。

不幸的是，项目内容是通过JS呈现的。但幸运的是，URL发送了一个AJAX请求来获取项目的JSON。这使我们更容易解析它。您可以检查google chrome控制台中的XHR选项卡，用所需的标题模拟请求

---

返回产品列表。URL中的

限制

和

偏移量

参数可用于获取下一组数据。此外，要解析可从标准库使用的JSON内容。

当浏览器请求并禁用javascript时，会出现一条消息，显示

以查看此网站，您必须启用javascript或升级到支持javascript的浏览器。虽然
scrapy
不会呈现
javascript
，但这可能是导致结果为空的原因。@FrankMartin感谢您的回复。我认为你是对的。有什么方法可以解决这个问题吗？一种方法是使用（无头）浏览器：一些使用Selenium，一些使用+插件：基本上，您可以将呈现页面的任务委托给这个外部启动服务，就像浏览器一样，并在呈现后将HTML发送给您。