Javascript 使用Scrapy/Selenium填充字段并在LinkedIn高级搜索页面上搜索

LinkedIn高级搜索的url:

我正在尝试使用Selenium（Python）填充字段并点击LinkedIn高级搜索页面上的submit按钮

但是，当我尝试向要填充的字段（例如名字）发送键时，会出现以下错误：ElementNotVisibleException:Message:元素当前不可见，因此可能无法与之交互。我猜这与高级搜索框的切换显示/隐藏有关。我原以为高级搜索框在默认情况下是可见的，但Selenium驱动程序似乎没有意识到这一点

如何使这些“不可见”字段和提交按钮元素可见

我试过：

• 使用Wait函数在页面上设置延迟

• 运行脚本使div元素保存高级搜索页面
  self.driver.execute_脚本（“document.getElementById（'advs'）.style.display='block'））

• “单击”切换“显示/隐藏”按钮进行高级搜索，尽管我不确定是否正确
  self.driver.find\u element\u by_id（“advs link”）。单击（）

---

如果查看提交按钮，您可以看到这是一个

GET

请求。因此，您也可以从输入字段和要用参数填充URL的值进行组合。唯一棘手的值是rsid，但它可以在站点中找到，即searchId

---

然后，当

GET

请求的URL存在时，您可以使用Scrapy将该URL作为

请求调用，并刮取内容。
我尝试了上面指定的内容，但现在遇到了一个问题，根据Scrapy响应，我尝试使用xpath选择的元素不存在。然而，当我在Google Chrome上查看同一页面时，这个元素确实存在。例如：在搜索“John”的结果页面上，应该有一个id=“results container”的div元素。当我使用scrapy response.xpath（“//div[@id=“results container]”）时，没有返回选择器。