Java 我需要一个网络爬虫吗？或者是网络刮板？

我需要自动化此过程： -登录网站 -导航到一个页面 -检索一条信息

这应该发生在Java程序中。我知道有一些开源Java库（JSpider、crawler4j和其他），但我不知道它们是否适合我的需要

---

我需要一只蜘蛛/爬虫我需要什么？如果没有，我需要什么，它曾经存在过吗？

不，你不需要或不需要一个网络爬虫。您需要自己编写每个步骤：发出登录（POST）请求，为所需页面发出另一个GET请求，解析响应并提取信息。我不喜欢这个答案！）我总是喜欢自己编写代码，但这次我想看看是否已经存在类似的东西……您的要求非常具体。例如，一个web应用程序上的登录与另一个web应用程序上的逻辑不同。是的，但令人惊讶的是，还没有人想到实现这样一个框架。更清楚地说，我将解释我真正的需求：我想登录我的手机运营商的网站，导航到剩余信用页面，然后获取价值。在一个完美的世界中，电话公司将提供一个web服务，使相同的信息可用（包括所有的身份验证/授权内容），但在现实世界中不可用（至少当最终用户是单个消费者时不可用）。我希望在我的pc（或任何设备）上有一个自动任务，可以为我完成这项任务…我需要的似乎更像是一个“网络刮板”，比如HtmlUnit。。。