Xpath通配符

我正在使用scrapy来刮取一些内容，但我在使用XPath时遇到了问题，具体来说，我正在尝试获取以下部分：

div class=“应用程序内容”节缩短启用“ （图中最后一行的第二行）

我发现有时候scrapy不喜欢firebug提供的xpath。因此，在我的python脚本中，我执行以下操作：

sel.xpath（'/*[contains（@class，“app\u content\u section shorten enable”））

但是什么也没有归还，我不知道为什么会这样。任何指点都将不胜感激

---

XPath本身似乎很好。您可以直接在Firebug中使用。它将返回包含类的元素。如果您尝试一个轻微的变体，会发生什么`xpath（'/*[@class=“app\u content\u section shorten enable”]'）谢谢，我想我已经缩小了问题的范围。您是正确的，因为Xpath本身没有问题。然而，我在scrapy中的一个经过身份验证的会话中抓取了一些数据。我检查了我得到的响应，它与我在浏览器中看到的不一样。我不知道为什么会发生这种情况，特别是因为我没有看到任何javascript/AJAX能够解释这一点。也许可以尝试显式地将

USER-AGENT

设置设置为浏览器，看看这是否会给出不同的响应？