不同于检查器HTML的HTTP响应

我正在尝试使用请求和Scrapy选择器获取以下网站的数据

import requests
from scrapy import Selector

url="https://seekingalpha.com/article/4312816-exxon-mobil-dividend-problems"
headers = {'user-agent': 'AppleWebKit/537.36'}
req = requests.get(url, headers=headers)
sel = Selector(text=req.text)

我可以提取文本主体，但是当尝试获取XPath作为注释时

我注意到从

请求

返回的HTML与检查器不同，因此选择

class='b-b'

类似

sel.xpath("//div[@class='b-b']")

返回Python中的空列表。似乎我遗漏了一些东西，或者HTML对机器人程序部分隐藏

在

查看（响应）

之后，我发现以下内容已呈现：， 我的问题

为什么在HTTP响应中看不到相同的HTML

如何使用此页面的XPath表达式获取注释数据

---

在scrapy shell中运行url链接并通过该命令查看页面：

view(response)

---

您的url链接在浏览器中打开，您可以在那里看到源代码，如果项目在那里可用，您可以通过xpath获得它，只需检查该元素并复制xpath即可获得该元素。我没有我的系统。因此，我无法向您发送准确的代码，请尝试上述操作。您的问题将得到解决。

谢谢，我这样做了，发现“评论”部分不在视图（响应）中。您是否有任何建议使其可见？请使用selenium获取评论。您可以访问此网站链接“”，这将帮助您如何将selenium与scrapy一起使用，并轻松获取评论。希望这能对你有所帮助。@我最后将硒与Scrapy结合使用。你提到的网站似乎非常相关和有用。谢谢