Ios 用于抓取网页或调用API的最快服务（尤其是iTunes）？

我们需要每天下载所有iOS应用程序的元数据。我们计划通过抓取iTunes网站和使用iTunes搜索API来提取信息。由于有700K+应用程序，我们需要一种高效的方法来实现这一点

---

一种方法是在EC2上设置一组脚本并并行运行它们。在我们走上这条路之前，有没有像80legs这样的服务，人们用来完成类似的任务？本质上，我们需要一些东西来帮助我们快速抓取数十万个页面（或进行一系列API调用）。

你可能想看看苹果的。这可能比获得一堆EC2机器或建立爬行基础设施来获取数据要便宜得多。从EFP描述本身来看：

企业合作伙伴提要是来自iTunes和App Store的完整元数据集的数据提要附属合作伙伴可以将iTunes和应用商店目录的各个方面完全整合到网站或应用程序中。

EPF有两种馈电模式

iTunes以两种模式生成EPF数据：

全模式
增量模式

完整导出每周生成一次，包含生成当天iTunes元数据的完整快照。增量导出每天生成，包含自上次完全导出以来添加或修改的记录。增量导出相对于它们所基于的完整导出进行定位

显然，当您想要填充数据时，您将使用完整模式，然后您将使用增量模式进行每日更新

祝你好运