Java 我"；我正在开发自己的搜索引擎。如何使用其他门户内容？

我打算创建一个新网站，作为自行车的集中搜索引擎。这个想法是，访问者可以在我的网站上进行搜索，然后从其他几个门户网站获得报价。像swoodoo、skyskanner之类的东西，用于飞行，但用于自行车

如果其他门户不提供公共api，那么查询它们（使用java）的最佳方法是什么？我使用的“最佳”选项是向每个门户发送硬编码的GET或POST请求，然后处理它们的响应，但这似乎很难维护，根本不是一个好选项

---

你能给我指点什么提示或阅读材料吗？

因此，在我看来，你有两个选择：

• 查询公共API以获取所需数据
• 为站点寻找数据

最好的选择是不同的，如果您感兴趣的站点有一个公共API，您可以查询该API以获取信息。我怀疑很多网站都有这样的功能

因此，第二种选择将是两个景观的信息，你感兴趣的网站。如果选择此选项，请注意，每次刮取的站点都会更改HTML结构id、类等。可能需要维护刮取功能

因此，通过选择此选项，请注意您需要持续维护您的刮片程序

这里有一个链接，解释了什么是刮削以及如何进行刮削：

这不是特定于Java的，但您可以将其映射到Java