Web scraping 什么时候应该使用网络垃圾工具?拥有网页抓取工具的优势是什么?

Web scraping 什么时候应该使用网络垃圾工具?拥有网页抓取工具的优势是什么?,web-scraping,Web Scraping,我正在努力学习网页抓取工具 因此,如果有人帮助我开始学习,一些教程链接可能会有所帮助 什么时候应该去刮网 rss提要有什么好处 市场上提供的最佳web抓取工具 谢谢 简而言之:“这取决于你想要实现什么。” 如果你有一个RSS提要,里面有你所需要的所有信息,你就不需要去抓取网页 如果您试图从未提供API直接访问数据的网站提取数据,则可以使用刮取以结构化方式从页面提取所需的信息。您可以将数据保存到数据库中并从那里开始工作 例如:在早期的Web 2.0时代,有一些网站刮去了所有其他“航班”页面,

我正在努力学习网页抓取工具

因此,如果有人帮助我开始学习,一些教程链接可能会有所帮助

  • 什么时候应该去刮网

  • rss提要有什么好处

  • 市场上提供的最佳web抓取工具


  • 谢谢

    简而言之:“这取决于你想要实现什么。”

    如果你有一个RSS提要,里面有你所需要的所有信息,你就不需要去抓取网页

    如果您试图从未提供API直接访问数据的网站提取数据,则可以使用刮取以结构化方式从页面提取所需的信息。您可以将数据保存到数据库中并从那里开始工作


    例如:在早期的Web 2.0时代,有一些网站刮去了所有其他“航班”页面,为给定的来源和目的地提取最便宜的航班。

    您好,您有任何教程链接来开始学习吗?我发现很少,但我不确定它们是否正确。这在法律上是正确的吗?不会有任何版权问题?Apify是一个很好的开始。您以后可以使用任何类型的语言来刮取网页,包括bash脚本、C#、Java等等。。。。单击答案左侧的向上箭头,您将投票赞成。不是通过注释“+1:”)少于15票不能放弃!我把它标为有用的。谢谢