Web crawler 支持在开始爬网之前与目标站点交互的web爬网工具

我正在寻找一个爬虫程序，它能够使用Ajax处理页面，并且能够在开始爬网站点之前与目标站点执行某些用户交互（例如，单击某些菜单项、填写某些表单等）。我尝试了webdriver/selenium（这是真正的web抓取工具）现在我想知道，在开始爬网之前，是否有支持模拟某些用户交互的爬网程序？（用Java、Python或Ruby…）

谢谢

---

ps-纳奇能做到这一点吗？如果是的话，我很感谢任何描述这一点的链接。

您可以尝试将selenium连接到一个基于python的爬虫程序，如。无论何时需要处理AJAX，它都会启动一个外部进程来使用selenium进行清理。

Nutch不处理AJAX、cookie或您描述的任何用户交互