Python scrapy shell返回不同的结果，而脚本返回不同的结果

我正在尝试刮取此URL“”

我的xpath如下所示

//a[@class="product_img_link"]//@href

当我使用ScrapyShell时，它返回122行，在浏览器中返回135行。这是一个很奇怪的问题。我使用

response.body

检查了html，并将其保存到html文件中，在浏览器中打开该文件，然后运行xpath，它工作得非常好

---

任何帮助都应该感谢。

好吧，Scrapy不会解析Javascript，所以这可能是您得到不匹配的原因；一些Javascript代码可能正在插入这些额外的HREF

---

如果是这样的话——如果那些缺失的HREF是相关的——那么您需要使用或完全放弃Scrapy，并使用类似的东西，例如，情况并非如此。没有涉及Javascript。奇怪。。。不知道，伙计，对不起。在任何情况下，您都应该发布有关问题的更多信息。如果安装了Scrapy，您可以使用以下命令检查Scrapy shell“”，然后使用len（hxs.select（'//a[@class=“product\u img\u link”]//@href'））。您将获得122条记录，同样的方法，在Chrome或Firefox中尝试xpath，您将获得135条记录。