Javascript 使用java脚本进行Web抓取并在python中登录

我正试图抓取一个需要登录并运行java脚本的网站

我可以从html请求中使用HTMLSession登录。但问题是，我没有找到执行java脚本的方法。因此，我尝试使用DrySrape，它对Java srcipt运行良好，但session除外。post（）不适用于DrySrape模块，因此我无法登录

因此，下一步是我需要一个关于如何组合这两个会话或组合这两个会话的模块的总体思路：登录和java脚本

你们有谁有主意，我怎么能做到这一点

问候

---

塞巴斯蒂安

你研究过硒吗？没有，还没有。这可能是一条通向我的道路吗？是的，你可以研究“使用Selenium进行Web抓取”，你会发现很多教程。这可能是解决你问题的方法。是的，我刚刚开始。我会看看下一期的内容：D非常感谢！如果您不需要执行JavaScript代码，就可以了解JavaScript代码中发生了什么，那么您的代码将更快、更容易执行。如果您不关心机器资源，更愿意节省时间，那么有几种无头浏览器解决方案，甚至一些SaaS。如果您对python的依赖程度不高，可以查看Cypress、Puppeter、Zombie.js等。只需搜索

浏览器headless

。