Python 将碎片对象导出到每个项目的一个文件中

Python 将碎片对象导出到每个项目的一个文件中,python,web-scraping,scrapy,Python,Web Scraping,Scrapy,我正在使用scrapy获取一些网页的内容。有没有办法配置scrapy,使其将每个数据线导出到单独的文件中 您可以在spider中生成项目,以返回要在管道中处理的多个项目 class SomeSpider(Spider): ... def parse(self, response): # some code to parse the webpage for some_line in webpage: item = YourItem()

我正在使用scrapy获取一些网页的内容。有没有办法配置scrapy,使其将每个数据线导出到单独的文件中

您可以在spider中生成项目,以返回要在管道中处理的多个项目

class SomeSpider(Spider):

  ...

  def parse(self, response):
    # some code to parse the webpage

    for some_line in webpage:
        item = YourItem()
        # parse items

        yield item
这将为一个刮取的页面返回多个项目。然后只需指定管道,将每个项目写入单独的文件

class SomePipeline(object):

  ...      

  def process_item(self, item, spider):
      with open('file.txt', 'w') as f:

          # format your item into a line here

          f.write(line)

您的意思是将每个
项目
实例放入一个单独的文件中吗?@alecxe是的,我是指每个项目