Web crawler 构建自动网络爬虫

我正在构建一个web应用程序爬虫，它不仅可以查找web应用程序中的所有链接或页面，还可以执行应用程序中允许的所有操作（例如按钮、填写表单、注意DOM中的更改，即使它们没有触发请求等）

基本上，这是一种“浏览器模拟器”

我发现WebKit是实现我的爬虫程序的一个很好的选择，因为它拥有所有需要的技术（Javascript引擎、解析器、DOM操作等），但作为一个功能齐全的浏览器，它似乎有点过分了

---

您知道有任何工具包可以提供上述功能吗？

我通过PyQt使用webkit解析JavaScript，然后与之交互。

我通过PyQt使用webkit解析JavaScript，然后与之交互。

如果您在mac上，请尝试使用fake app

---

如果你在mac电脑上，试试假冒的应用程序