需要使用Mechanize+启用Javascript的网站;美化组(Python)

需要使用Mechanize+启用Javascript的网站;美化组(Python),javascript,python,screen-scraping,mechanize,Javascript,Python,Screen Scraping,Mechanize,所以。。我得到这个网站,我试图刮,但因为我了解缺乏支持的网站 对于.js,需要启用javascript浏览器的stuborn站点是 不是很好的组合 我正在寻找如何做到这一点的想法 URL:根据您需要执行的操作,您可以使用解析页面,这将允许您在执行javascript后获得最终的html。然后,您可以使用任何合适的html解析器(例如beautifulsoup)来完成其余的工作。根据需要,您可以使用解析页面,这将允许您在执行javascript后获得最终的html。然后,您可以使用任何像样的htm

所以。。我得到这个网站,我试图刮,但因为我了解缺乏支持的网站 对于.js,需要启用javascript浏览器的stuborn站点是 不是很好的组合

我正在寻找如何做到这一点的想法


URL:

根据您需要执行的操作,您可以使用解析页面,这将允许您在执行javascript后获得最终的html。然后,您可以使用任何合适的html解析器(例如beautifulsoup)来完成其余的工作。

根据需要,您可以使用解析页面,这将允许您在执行javascript后获得最终的html。然后,您可以使用任何像样的html解析器,例如beautifulsoup来完成其余的工作。

使用JavaScript,我用于简单网站和更复杂的网站。

使用JavaScript,我用于简单网站和更复杂的网站。

谢谢,我实际上已经开始使用Selenium RC,我能够完全控制firefox的一个实例,没有任何问题。它有点慢,但我实际上可以并行运行其中的两个,所以这至少是好的
Python rocks:)谢谢,我实际上已经开始使用Selenium RC,并且我能够毫无问题地完全控制firefox的一个实例。它有点慢,但我实际上可以并行运行其中的两个,所以这至少是好的<巨蟒岩:)