可以自动将找到的URL添加到MySQL数据库的网络爬虫？

标题几乎说明了一切，我在寻找一个可以自动将其发现添加到数据库中的网络爬虫，这样的东西存在吗？还是我自己做更好？

有很多服务可以让你付费做这件事：但是，如果你想找免费的，你最好自己做

如果您选择DIY路线，请看一看Firebase数据库：Firebase使从简单的Web应用程序创建数据库、设置规则和执行CRUD操作变得非常容易，而无需构建自定义后端。这听起来像是你描述的小型项目的完美候选人

---

此外，如果您是网络爬虫新手，请查看Scrapy。在我使用过的所有刮取库中，这个库是最容易用于简单项目的库之一。

有大量的服务可供您付费使用：但是，如果您是免费的，您最好自己制作

如果您选择DIY路线，请看一看Firebase数据库：Firebase使从简单的Web应用程序创建数据库、设置规则和执行CRUD操作变得非常容易，而无需构建自定义后端。这听起来像是你描述的小型项目的完美候选人

此外，如果您是网络爬虫新手，请查看Scrapy。在我使用过的所有抓取库中，这个库是最容易用于简单项目的库之一。

有一个SQL模块，允许存储表中发现的URL的信息。虽然有点过时，但说明了如何将StormCrawler与MySQL结合使用。

有一个SQL模块，允许存储表中发现的URL信息。虽然有点过时，但说明了如何将StormCrawler与MySQL结合使用