Python 刮擦：如何检查以前刮擦过的页面是否已被删除？

我制作了一个简单的抓取我所在城市房价广告的刮擦式爬虫

它收集以下数据：广告标题、价格和URL。然后输出一个CSV文件

每周我都会运行爬虫程序，我希望它将最新的CSV文件与前一个文件进行比较，以检查是否有广告被删除。如果他们有，我希望它在CSV文件输出的最后一个看到的列中包含今天的日期

我不知道这是否可以用CSV文件完成，或者这项工作是否需要一个数据库。我也不知道是否需要创建项目管道

这是我目前的蜘蛛代码

import scrapy


class ExampleSpider(scrapy.Spider):
    name = 'example'

    start_urls = [
        'http://www.example.com/'
        ]

    def parse(self, response):
        for item in response.css('li.item a.list-link::attr(href)').extract():
            yield scrapy.Request(item, callback=self.parse_item)

        next_page = response.xpath('//a[@title="Next page"]/@href').extract_first()

        if next_page is not None:
            yield scrapy.Request(next_page, callback=self.parse)

    def parse_item(self, response):
        title = response.css('h1.ad-title::text').extract_first()
        price = response.css('span.price::text').extract_first()

        yield {
            'TITLE': title,
            'PRICE': price,
            'URL': response.url
        }

您可以使用csv（或者任何其他数据结构）来实现这一点

让immagine你爬过两次，现在你必须：

$ cat items1.csv 
some_url, foo1, bar1
some_url2, foo2, bar2
some_url3, foo3, bar3

$ cat items2.csv 
some_url, foo1, bar1
some_url3, foo3, bar3

我们可以做的是从这些文件中加载所有URL，将值转换为python

set

s，并在两个集合上调用

set.difference

，以查看数据集的差异

import csv
def read_file(filename)
    with open(filename, 'r') as csvfile:
        csvreader = csv.reader(csvfile)
        urls = [row[0] for row in csvreader]
        return set(urls)

urls1 = read_file('items1.csv') 
# returns {'some_url', 'some_url2', 'some_url3'}
urls2 = read_file('items2.csv') 
# returns {'some_url', 'some_url3'}

# find the difference
deleted_urls = urls1.difference(urls2)
#returns: {'some_url2'}

---

你需要一个数据库