Python 存储、修改和操作web刮取的数据

Python 存储、修改和操作web刮取的数据,python,Python,我正在开发一个python webscraper,它可以从汽车广告网站中提取数据。我已经用beatifoulsoup完成了刮削部分,但是我在尝试存储和修改它时遇到了很多困难。我真的很感谢你对这一部分的一些建议,因为我对这一部分缺乏知识 下面是我想做的: 每小时完成一次数据刮取。 将刮取的数据作为字典存储在.JSON文件中。 每次在scraped_data.json中找不到ad_链接时,将其设置为dict['Status']='Inactive'done。 如果汽车价格发生变化,则打印通知并将旧价

我正在开发一个python webscraper,它可以从汽车广告网站中提取数据。我已经用beatifoulsoup完成了刮削部分,但是我在尝试存储和修改它时遇到了很多困难。我真的很感谢你对这一部分的一些建议,因为我对这一部分缺乏知识

下面是我想做的:

每小时完成一次数据刮取。 将刮取的数据作为字典存储在.JSON文件中。 每次在scraped_data.json中找不到ad_链接时,将其设置为dict['Status']='Inactive'done。 如果汽车价格发生变化,则打印通知并将旧价格添加到字典中。在这方面,我遇到了许多使用.JSON方式的挑战。 我一直在使用2.json文件,并将它们相互比较,例如scraped_data_temp、permanent_data.json,但我认为这并不是最好的方法

你们有什么建议?我该怎么做

处理此类数据的最佳方法是什么?也许吧我对它们没有经验,但我渴望学习,pygal,什么是表示此类数据的好方法


非常感谢。

如果您有更大的数据,我肯定会推荐使用某种DB。如果不需要使用DB server,可以使用sqlite。我过去曾使用它在本地保存更大的数据。您可以使用python与DB-s交互

至于显示数据,我倾向于使用。它非常灵活,有大量的文档和示例,因此您可以根据链接、图形、图表等调整数据


我假设您正在使用python3。

我建议使用数据库。sqlite是基本的,但非常容易使用,python内置了对itI的支持,我一定会研究它,谢谢你,谢谢你的回复。我的数据不是很大,一次最多10辆车。我的问题是修改当前数据,最好的方法是什么。就像我刚才说的,我正在使用2个json文件,并将它们相互比较,但我真的觉得这个方法很糟糕。