Web scraping 有和服替代品吗？
最近和服实验室宣布他们将关闭这是一个重大的失望，因为我的应用程序在获取数据方面严重依赖这项服务。他们刚刚关闭了这项服务，真令人失望。我一直在使用import.io，但它没有达到和服的标准，缺少一些功能 我想知道是否有类似和服的服务具有以下特点：Web scraping 有和服替代品吗？,web-scraping,kimono,Web Scraping,Kimono,最近和服实验室宣布他们将关闭这是一个重大的失望，因为我的应用程序在获取数据方面严重依赖这项服务。他们刚刚关闭了这项服务，真令人失望。我一直在使用import.io，但它没有达到和服的标准，缺少一些功能 我想知道是否有类似和服的服务具有以下特点： 计划爬网，即每24小时计划一次爬网，或者您可以调用链接更新爬网的最新数据 批量或单个url爬网，即输入列表或单个url进行爬网 调用链接以获取JSON中爬网的结果 使用单个api键调用api 这些功能大部分都是免费的 或者，我可能会想创建自己的，只是
- 计划爬网，即每24小时计划一次爬网，或者您可以调用链接更新爬网的最新数据
- 批量或单个url爬网，即输入列表或单个url进行爬网
- 调用链接以获取JSON中爬网的结果
- 使用单个api键调用api
- 这些功能大部分都是免费的
披露：我是创始成员之一披露：我在Portia的创造者Scrapinghub工作 ，一个开源的可视化抓取工具，允许您通过指向并单击您试图从中获取数据的网页进行抓取 在上有一个托管版本，您可以免费创建一个帐户并获得：
- 通过Scrapy Cloud web UI和API计划您的Portia爬行器
- 使用API获取项目
- 使用scrapy插件（例如执行增量爬网、将图像下载到s3等）
- 等等
你也可以将你的和服实验室项目自动移植到portia，这是我在portia的创建者Scrapinghub工作 ，一个开源的可视化抓取工具，允许您通过指向并单击您试图从中获取数据的网页进行抓取 在上有一个托管版本，您可以免费创建一个帐户并获得：
- 通过Scrapy Cloud web UI和API计划您的Portia爬行器
- 使用API获取项目
- 使用scrapy插件（例如执行增量爬网、将图像下载到s3等）
- 等等
您还可以使用此将您的和服实验室项目自动移植到portia。我的团队和我正在开发一个非常类似的工具，我们将很快启动它。以下是关于它的更多信息： Automatio是网络自动化工具，您可以使用它以非常简单的方式从任何网站上刮取数据 其中一些特点是：
- 预览不同格式的废弃数据，如CSV、JSON、RSS和API。还有下载选项
- 从相同的数据生成小部件，并获得iframe输出以显示在您的网站上
- 使用不同的图表类型可视化数据
- 支持常规分页和无限滚动
- 调度和循环任务
- 与其他平台的集成
- 预览不同格式的废弃数据，如CSV、JSON、RSS和API。还有下载选项
- 从相同的数据生成小部件，并获得iframe输出以显示在您的网站上
- 使用不同的图表类型可视化数据
- 支持常规分页和无限滚动
- 调度和循环任务
- 与其他平台的集成