Python 缺少多个spider/Scrapy/Pipeline的导出CSV数据

我基于这里的一些示例实现了一个管道。我试图在一个CSV文件中导出多个spider（由单个文件启动，而不是在命令行中）的所有信息

但是，一些显示在shell中的数据（约10%）似乎没有记录到CSV中。这是因为蜘蛛在同一时间写作吗

我如何将其修复到脚本中，以便在单个CSV中收集所有数据？我正在使用

CrawlerProcess

启动爬行器

from scrapy import signals
from scrapy.contrib.exporter import CsvItemExporter


class ScrapybotPipeline(object):

def __init__(self):
    self.files = {}

@classmethod
def from_crawler(cls, crawler):
    pipeline = cls()
    crawler.signals.connect(pipeline.spider_opened, signals.spider_opened)
    crawler.signals.connect(pipeline.spider_closed, signals.spider_closed)
    return pipeline

def spider_opened(self, spider):
    file = open('result_extract.csv', 'w+b')
    self.files[spider] = file
    self.exporter = CsvItemExporter(file)
    self.exporter.fields_to_export = ['ean', 'price', 'desc', 'company']
    self.exporter.start_exporting()

def spider_closed(self, spider):
    self.exporter.finish_exporting()
    file = self.files.pop(spider)
    file.close()

def process_item(self, item, spider):
    self.exporter.export_item(item)
    return item

---

从你的描述中我知道你正在处理多个蜘蛛。只是想确认一下：您是否同时处理这些问题？（在同一爬网过程中）

根据你共享的代码。您试图为每个爬行器维护一个输出文件对象，但写入所有相同的路径。在

spider\u中打开

：

file = open('result_extract.csv', 'w+b')
self.files[spider] = file

这被认为是问题的根本原因

由于您只有一个文件（如文件系统上的文件）要写入，所以只需打开一次即可。代码的修改版本：

class ScrapybotPipeline(object):

    def __init__(self):
        self.file = None

    @classmethod
    def from_crawler(cls, crawler):
        pipeline = cls()
        crawler.signals.connect(pipeline.spider_opened, signals.spider_opened)
        crawler.signals.connect(pipeline.spider_closed, signals.spider_closed)
        return pipeline

    def spider_opened(self, spider):
        self.file = open('result_extract.csv', 'w+b')
        self.exporter = CsvItemExporter(self.file)
        self.exporter.fields_to_export = ['ean', 'price', 'desc', 'company']
        self.exporter.start_exporting()

    def spider_closed(self, spider):
        self.exporter.finish_exporting()
        self.file.close()

    def process_item(self, item, spider):
        self.exporter.export_item(item)
        return item

---

是的，我同时在运行它们！如何统一我的导出器（正如您在评论的最后一部分中提到的），以便我只能为这些爬行器保留一个文件？@Araxide exporter和output file是一对一的关系。为了在使用统一导出器时使其正确，我认为您只需要重写创建多个输出文件的行。您能准确地说出您正在谈论的行吗？^^你的意思是我应该使用几个输出文件？