抓取网页并在Python中调用javascript函数

抓取网页并在Python中调用javascript函数,javascript,python,web-scraping,beautifulsoup,web-crawler,Javascript,Python,Web Scraping,Beautifulsoup,Web Crawler,我需要抓取一个网站,然而,它的内容是动态的。Python中是否有可以调用js函数的包?例如,假设我在JS中有一个链接和JS函数1、2和3,我应该在该网页上调用,并且在所有JS函数调用之后我需要最后一个网页。执行客户端javascript可能会变得非常复杂,因此,像用户一样在一个页面上运行所有javascript的最可靠的方法是在headless模式下使用真正的浏览器。 专门针对Python,有一个Python+Selenium组合用于处理headless Chrome。 如果您愿意用Python

我需要抓取一个网站,然而,它的内容是动态的。Python中是否有可以调用js函数的包?例如,假设我在JS中有一个链接和JS函数1、2和3,我应该在该网页上调用,并且在所有JS函数调用之后我需要最后一个网页。

执行客户端javascript可能会变得非常复杂,因此,像用户一样在一个页面上运行所有javascript的最可靠的方法是在headless模式下使用真正的浏览器。 专门针对Python,有一个Python+Selenium组合用于处理headless Chrome。 如果您愿意用Python替换NodeJ,那么一个更强大的工具集是Puppeter+headless Chrome(它可以让您做比Selenium多得多的事情)。还有一个早期的非官方的Python端口,我还没有尝试过,也不能评论它有多稳定