如何仅使用python标准库刮取javascript网页

我必须抓取一个使用javascript显示内容的网站。我必须只使用标准libs，因为我将在没有任何浏览器的服务器上运行此脚本。我找到了selenium，但它需要一个浏览器，在我的情况下无法安装

有什么想法或解决方案吗？

看看Ghost.py。它不需要浏览器

pip install Ghost.py

from ghost import Ghost
ghost = Ghost()
page, resources = ghost.open('http://stackoverflow.com/')

---

您没有提到该网站如何使用javascript，但是如果它使用在任何类型的用户交互之后触发的AJAX请求，您将需要使用类似Selenium的东西来自动化该行为。在这里，你可以找到。当然，这需要在您的机器上安装浏览器。

为什么不依赖Scrapy来完成这项任务？避免重新发明轮子。您可以使用library。Scarpy、Beautifulsoup是非常好的库，用于相同的功能。这些模块（请求、Beautifulsoup）无法完成it@Shafiq你介意我问一下为什么请求和bs4不能完成任务吗？这将是我第一次尝试解决方案。