Web scraping 有类似和服实验室的刮刀应用程序吗?

Web scraping 有类似和服实验室的刮刀应用程序吗?,web-scraping,Web Scraping,我已经用过很多次了,但是发现和服汤更容易,更快。唯一的问题是,有时作业确实需要一些调整,这是不可能的(例如,使用独特的模式进行爬行) 是否有任何其他解决方案结合了易用性和可选复杂性?我主要想使用WYSIWYG接口定义一个页面抓取模板,然后通过编程编写爬虫程序。完整披露:我是ParseHub的创始人之一 ParseHub正试图解决这个问题。它为您提供了一个gui和强大的工具,用于直观地定义模板,如果您需要更细粒度的控制,则可以使用javascript的子集。您熟悉的所有编程原语(if、for、br

我已经用过很多次了,但是发现和服汤更容易,更快。唯一的问题是,有时作业确实需要一些调整,这是不可能的(例如,使用独特的模式进行爬行)


是否有任何其他解决方案结合了易用性和可选复杂性?我主要想使用WYSIWYG接口定义一个页面抓取模板,然后通过编程编写爬虫程序。

完整披露:我是ParseHub的创始人之一

ParseHub正试图解决这个问题。它为您提供了一个gui和强大的工具,用于直观地定义模板,如果您需要更细粒度的控制,则可以使用javascript的子集。您熟悉的所有编程原语(if、for、break、递归等)都可用


你可以在www.parsehub.com上找到完整的披露:我是parsehub的创始人之一

ParseHub正试图解决这个问题。它为您提供了一个gui和强大的工具,用于直观地定义模板,如果您需要更细粒度的控制,则可以使用javascript的子集。您熟悉的所有编程原语(if、for、break、递归等)都可用

您可以在www.parsehub.com上找到它,使用提取器

  • Import.io浏览器
  • (您称之为“刮削模板”)
  • 从你的代码
  • 使用提取器

  • Import.io浏览器
  • (您称之为“刮削模板”)
  • 从你的代码
  • 试一试

    Agenty具有完全相同的功能来抓取网站,Chrome扩展来设置抓取代理。您只需安装扩展并创建代理即可刮取任何站点

    仅供参考:我们还计划在2016年4月之前推出托管解决方案和REST API(更新-)

    您现在可以在网站(www.datascraping.co)上看到更多详细信息

    披露:我是创始成员之一

    试试看

    Agenty具有完全相同的功能来抓取网站,Chrome扩展来设置抓取代理。您只需安装扩展并创建代理即可刮取任何站点

    仅供参考:我们还计划在2016年4月之前推出托管解决方案和REST API(更新-)

    您现在可以在网站(www.datascraping.co)上看到更多详细信息


    披露:我是创始成员之一

    看起来很棒,我很乐意尝试一下,但我在osx上:(将启动REST API和web portal,很快将在任何操作系统上运行,在网站上注册,所有用户都会收到一封电子邮件:)看起来很棒,我很乐意尝试一下,但我在osx上:(将启动REST API,web portal很快将在任何操作系统上运行,在网站上注册,所有用户将在启动时收到一封电子邮件:)