Python 以编程方式解析网页（使用登录/ssl）

我想以编程方式解析一些没有公开可用API的网站上的网页

例如，检查我在大学的成绩是否合格

有没有人做过类似的事情，找到了一个可用的解决方案？我可能正在寻找用python或类似语言编写的库，对吗

---

还请注意，其中一些站点需要登录和/或ssl。您建议如何处理这个问题？

我建议使用urllib或urllib2，它允许您发送/接收请求，并提供可以轻松解析的HTML对象

import urllib
proxies = {'http': 'http://proxy.example.com:8080/'}
opener = urllib.FancyURLopener(proxies)
f = opener.open("http://www.python.org")
f.read()

---

有关如何使用它的更多信息：

我建议使用urllib或urllib2，它允许您发送/接收请求，并提供可以轻松解析的HTML对象

import urllib
proxies = {'http': 'http://proxy.example.com:8080/'}
opener = urllib.FancyURLopener(proxies)
f = opener.open("http://www.python.org")
f.read()

---

有关如何使用它的更多信息：

Python有许多用于web抓取的软件包。有很好的文档记录，有官方教程和大量用户。Scrapy支持，stackoverflow上有一个相当活跃的社区。Python有许多用于web抓取的包。有很好的文档记录，有官方教程和大量用户。Scrapy支持，stackoverflow上有一个相当活跃的社区。我知道。。。。我想要一些能帮助我解析数据的东西，而不仅仅是给我原始的html…我知道urllib。。。。我想要一些能帮助我解析数据的东西，而不仅仅是给我原始的html。。。