以编程方式登录网站以进行屏幕清理的最佳方式是什么?(最好使用Python)

以编程方式登录网站以进行屏幕清理的最佳方式是什么?(最好使用Python),python,screen-scraping,Python,Screen Scraping,我希望能够以编程方式登录到一个网站,并定期从该网站获取一些信息。使这一过程尽可能简单的最佳工具是什么?我更喜欢某种类型的Python库,因为我想变得更加精通Python,但我愿意接受任何建议。您可以尝试使用Mechanize()进行编程式web浏览,当然也可以使用Beautiful Soup()进行抓取。我建议使用它来快速完成登录过程。然后使用beautifulsoup等。 如上所述。我从来没有尝试过mechanize,但它看起来相当不错。我曾经编写了一个Python脚本来自动登录vBullet

我希望能够以编程方式登录到一个网站,并定期从该网站获取一些信息。使这一过程尽可能简单的最佳工具是什么?我更喜欢某种类型的Python库,因为我想变得更加精通Python,但我愿意接受任何建议。

您可以尝试使用Mechanize()进行编程式web浏览,当然也可以使用Beautiful Soup()进行抓取。

我建议使用它来快速完成登录过程。然后使用beautifulsoup等。
如上所述。我从来没有尝试过mechanize,但它看起来相当不错。

我曾经编写了一个Python脚本来自动登录vBulletin论坛。困难的部分是知道如何正确地形成登录请求,而这是库无法帮助您的。我发现Firefox的一个插件非常有助于查看登录过程中客户端和服务器之间发送的内容


我也同意其他人的观点,美丽的汤非常棒。

我们大多数人都用它来获取页面;它可以处理各种形式的身份验证和cookie收集。然后解析结果。

仅用于屏幕抓取,您可以使用url库和pyqyery的组合。

斜纹布本质上是机械化包装周围的薄壳。