如何在python中缓存提取的数据

如何在python中缓存提取的数据,python,web-scraping,Python,Web Scraping,我编写了一个刮刀,它从几页中提取数据。现在我意识到它有时会中断(例如,互联网上的剪切),我会丢失所有(已经)刮取的数据,必须重新启动刮取过程 是否有一个模块或解决方案可以缓存我已经提取的数据,以防脚本再次中断 致以最诚挚的问候我建议您使用library,它已经实现了多种机制来保存数据和管理您的爬行器。将废弃的数据写入一个文件太宽,没有代码

我编写了一个刮刀,它从几页中提取数据。现在我意识到它有时会中断(例如,互联网上的剪切),我会丢失所有(已经)刮取的数据,必须重新启动刮取过程

是否有一个模块或解决方案可以缓存我已经提取的数据,以防脚本再次中断


致以最诚挚的问候

我建议您使用library,它已经实现了多种机制来保存数据和管理您的爬行器。

将废弃的数据写入一个文件太宽,没有代码