Web scraping Web抓取客户端抽象-与未来Web API的兼容性

我正在为一个网站创建一个客户端，该客户端将废弃该网站以获取数据

我想做的是，设计这个客户机的API，如果将来创建web API的话，它可以在不做修改的情况下使用

目前该网站不提供任何web API。它确实使用AJAX，因此它的部分功能可以很容易地在客户端中重用

我现在要处理的最大问题是，有些数据不是由整数标识的。而是使用一个字符串来描述对象的名称。因此，如果我在抽象中使用整数，在web抓取实现中使用字符串，我必须在整数和字符串之间使用某种映射

---

所以我的问题是：我是否应该继续尝试为客户创建一个“完美”的抽象？或者我应该创建web scraping client，如果/当web API可用时，我会创建一个新的客户端吗？

如果我理解您的要求，您想知道是否值得在与您的客户端对话的中间API中创建，然后中间API执行web scraping：

客户端-->API-->网站

然后，当网站创建API时，您的API将与之对话，而无需修改客户端：

客户端-->API-->网站API

与继续让客户端直接清理网站直到网站提供API不同：

客户端-->网站

然后让客户机与API对话：

客户端-->网站API

在不了解您的情况下很难给出答案，但以下是一些可以帮助您做出决策的考虑因素：

• 更新客户端有多困难？如果有很多客户端或者很难更新它们，那么在您自己的API中隐藏一些逻辑是有意义的
• 网站API与您的API直接匹配的可能性有多大？如果您的API与网站API不匹配，您可能需要更改客户端
• 其他网站会提供更好或更便宜的服务吗？如果是这样，您可以使用API切换到对客户端影响较小的其他网站