Python 自动化web任务？

我在chess.com上玩，我想下载我的游戏历史。不幸的是，他们并没有让这变得容易：我一次可以访问50个游戏的100页，点击“全选”和“下载”，然后他们通过电子邮件发送给我

有没有一种方法可以用python或其他语言编写脚本，帮助我自动化流程的任何部分？模拟点击链接的东西？水豚对单元测试之外的事情有用吗？硒

---

我还没有太多的网络开发经验。谢谢你的帮助

您可能想查看CasperJS。我使用Python启动CasperJS脚本来进行web抓取，并将数据返回到Python以进一步解析或存储到数据库等

Python本身有BeautifulSoup和Mechanize，但与基于Ajax的站点的结合并不好

---

Python和CasperJS非常完美

如果你想做这样的事情，硒可能是一个很好的选择

下面是一些伪代码：

foreach page_link in page_links:
  page_link.click()
  select_all.click()
  download_link.click()

看一看。使用此Python库可以相对容易地实现所需的操作：

start_chrome("chess.com")
...
click("Select All")
click("Download")
...

---

等等。

因此，如果我正在查看的网站不是基于AJAX的，那么BeautifulSoup可能是理想的解决方案？是的，如果您不尝试获取JavaScript操纵的动态数据，我会说BeautifulSoup会更快。