用Python屏幕抓取基于Javascript的网页

我正在用Python开发一个屏幕抓取工具。但是，当我查看网页的源代码时，我注意到大部分数据都是通过Javascript提供的

有什么想法吗，如何抓取基于javascript的网页？有Python中的工具吗

---

谢谢

使用可以抓取基于javascript的网页。特别是，请尝试。

您可以使用库的模块

我使用webkit，它是Chrome和Safari背后的浏览器渲染器。有

---

下面是完整的。

为什么不直接使用Javascript？重复您为什么直接使用Javascript？例如，如何从python调用JS函数

JS_函数（var1、var2、var3）

？我尝试了Selenium。我不想模仿用户的动作。正如我从运行示例程序中看到的，它打开浏览器窗口并模拟操作。我不想那样。我想将网页中的数据提取到我的代码中。如果不需要，您不必模仿用户操作。只需下载页面并对其进行解析。使用selenium的意义在于它可以为您处理javascript。