Python 3.x 多次抓取数据而不重叠-scrapy python 3

Python 3.x 多次抓取数据而不重叠-scrapy python 3,python-3.x,scrapy,web-crawler,overlapping,Python 3.x,Scrapy,Web Crawler,Overlapping,我正在编写代码从网站抓取数据。 我运行了一次,并将其保存为JSON文件。 但现在我想再运行一次,检查网站是否更新了新数据。 如何抓取新数据并将其添加到旧的JSON文件中而不重叠? 谢谢。如何避免再次删除旧数据?这取决于网站,没有单一的解决方案。

我正在编写代码从网站抓取数据。 我运行了一次,并将其保存为JSON文件。 但现在我想再运行一次,检查网站是否更新了新数据。 如何抓取新数据并将其添加到旧的JSON文件中而不重叠?
谢谢。

如何避免再次删除旧数据?这取决于网站,没有单一的解决方案。