Python 巨蟒爬虫。解析和执行ajax

我为爬虫建立了一个基本结构。现在我在一些php驱动的网站上发布了它，它就像一个魅力。虽然现在我想让它从ajax内容构建数据表

目前，我正在使用Mechanize for PYTHON和perl构建我的爬虫程序。尽管Mechanize模块不执行AJAX。如何获得由异步ajax构建的内容

---

我知道有一种叫做Selenium的东西，一种真正的浏览器可以自动运行。但这是我唯一的选择吗

您可以运行无头浏览器，例如，它可以理解JavaScript、DOM等，但您必须用JavaScript编写代码，好处是您可以做任何您想做的事情

还有另一种方法，但它的

凌乱

---

您可以在单击按钮时观察发出的请求（使用Firefox中的Firebug或Chrome中的开发者工具）。而不是尝试对页面后面运行的javascript进行反向工程，并尝试使用python代码执行类似的操作，为此，请看一下

是否有一些原因让我拿出实际的javascript并将其发送给某个执行者或处理者。它执行所有请求并向我返回输出？或者这就是我应该使用spidermonkey的原因？感谢您的replyspidermonkey模块允许在Python中实现Javascript类、对象和函数，以及对Javascript脚本和函数的

求值和调用