Html 使用Scrapy响应，XPath元素不会'；不存在，尽管Google Chrome Inspect元素显示它确实存在

我遇到了一个问题，根据Scrapy响应，我试图使用XPath选择的元素不存在。然而，当我在Google Chrome上查看同一页面时，这个元素确实存在

这个问题发生在使用LinkedIn高级搜索并进入结果页面后的LinkedIn搜索中。我想刮取结果容器中的链接

例如：在搜索“John”的结果页面上，根据Google Chrome上的Inspect元素，应该有一个id=“results container”的div元素。当我使用Scrapy response.xpath（“//div[@id=“results container]”）时，没有返回选择器

---

结果页面的url:

您是否尝试在浏览器的私有会话窗口（有时称为匿名模式）中查找您提供的url

如果你这样做，你会看到你得到一份LinkedIn的注册表格

正如alecxe在他的评论中所建议的，尝试使用LinkedIn API（它是REST），您可以得到XML响应，您可以解析这些响应来收集所需的信息

---

可选地，您可以尝试用Scrapy登录并存储验证凭据并重复您的请求（但无论如何我都会使用API）。

您应该考虑使用LinkedIn API。谢谢您的响应！发现我看不到内容，因为它是JavaScript生成的内容。