Python 在Javascript运行之后，如何刮取网站HTML？

所以我试着去搜刮一个网站。当我刮掉它的时候，结果发现它和你在Mozilla或Google Chrome上右键点击查看页面源代码的结果不一样

我使用的代码是：

import urllib

page = urllib.urlopen("http://www.google.com/search?q=python") 
#or any other website that uses search
python = page.read()
print python

事实证明，代码只获取“原始”网页，这不是我想要的。对于这样的网站，我希望代码在javascript等运行之后。因此，结果与右键单击并从浏览器查看源代码时的结果相同

---

还有其他方法吗？

这不完全是一个原始页面，因为它是从谷歌发送给您的错误页面： 在

printpython

部分，它在消息的顶部说：

您的客户端无权从此服务器获取URL

/search？q=python

如果要将

页面

变量更改为

page = urllib.urlopen("http://volt.al/")

您将看到javascript

---

在不同的页面上尝试一下，看看你喜欢什么

使用Selenium或“无头浏览”之类的工具查看浏览器自动化