Scrapy 刮壳XPATH不工作

我在Chrome的XPATHHelper和Firefox的XPather中尝试了以下XPATH，它总是在google搜索结果页面中显示所有代码片段（即搜索结果的描述），但在Scrapy shell中不起作用：

//span[@class='st']

如果有关系，我会像这样调用scrapy shell：

scrapy  shell "http://www.google.com/search?q=myQuery" 

我说

hxs.select（“//span[@class='st']”）

。这总是返回一个空列表。 关于为什么会发生这种情况，有什么线索吗？

Scrapy无法“解析”需要执行Javascript的站点。不同的开发人员控制台向您展示的是已经解释和执行的站点，其中应用了所有Java脚本

由于谷歌在Javascript的帮助下显示其结果，Scrapy自己无法处理这个问题。

Scrapy无法“解析”需要Javascript执行的站点。不同的开发人员控制台向您展示的是已经解释和执行的站点，其中应用了所有Java脚本

---

由于谷歌在Javascript的帮助下显示其结果，Scrapy本身无法处理这一问题。

有时网站无法在禁用Javascript的情况下工作（例如Applebees.com），因此您必须使用像Selenium这样的实际浏览器

有时站点无法在禁用Javascript的情况下工作（例如Applebees.com），因此您必须使用像Selenium这样的实际浏览器

在Firefox url栏中键入： 关于：配置 找到javascript.enable行并将其值更改为false

安装FireFinder扩展插件 开放式萤火虫（F12）

然后享受谷歌式xpath表达式：

//*[@id="search"]//li[@class="g"]/div[@class="s"]//cite

在Firefox url栏中键入： 关于：配置 找到javascript.enable行并将其值更改为false

安装FireFinder扩展插件 开放式萤火虫（F12）

然后享受谷歌式xpath表达式：

//*[@id="search"]//li[@class="g"]/div[@class="s"]//cite

---

谢谢问题解决了。我尝试禁用javascript，然后Scrapy现在就可以抓取这些XPath了。谢谢。问题解决了。我尝试禁用javascript，然后Scrapy现在就可以抓取这些XPath。