我可以在不使用python实际打开浏览器的情况下将selenium与Scrapy一起使用吗

我想用scrapy和python做一些web爬行。我从互联网上找到了一些使用selenium和scrapy的代码示例

我对selenium不太了解，但只知道它可以自动执行一些web任务。浏览器实际上是打开的，可以做一些事情。但我不希望实际的浏览器打开，但我希望一切都从命令行发生

我可以在selenium和scrapy中这样做吗？

至少在linux上，您可以将selenium与一起使用

from pyvirtualdisplay import Display
from selenium import webdriver
display = Display(visible=0, size=(1024, 768))
display.start()
browser = webdriver.Chrome()

---

更新：PhantomJS被抛弃了，现在你可以直接使用无头浏览器，比如Firefox和Chrome

---

改用PhantomJS

---

您可以在selenium v2.32.0中执行

browser=webdriver.PhantomJS（）

。

@user172409255这应该是最好的答案，正如您请求的命令行一样。因此，您可以使用例如webdriver.Chrome（）来查看正在发生的事情，然后返回到webdriver.PhantomJS（）进行生产。或者使用echo结果来查看和坚持更快的Phantom.jsPhantomJS现在被放弃，取而代之的是主流浏览器本身提供的无头模式。