Python 将碎片对象导出到每个项目的一个文件中
我正在使用scrapy获取一些网页的内容。有没有办法配置scrapy,使其将每个数据线导出到单独的文件中 您可以在spider中生成项目,以返回要在管道中处理的多个项目Python 将碎片对象导出到每个项目的一个文件中,python,web-scraping,scrapy,Python,Web Scraping,Scrapy,我正在使用scrapy获取一些网页的内容。有没有办法配置scrapy,使其将每个数据线导出到单独的文件中 您可以在spider中生成项目,以返回要在管道中处理的多个项目 class SomeSpider(Spider): ... def parse(self, response): # some code to parse the webpage for some_line in webpage: item = YourItem()
class SomeSpider(Spider):
...
def parse(self, response):
# some code to parse the webpage
for some_line in webpage:
item = YourItem()
# parse items
yield item
这将为一个刮取的页面返回多个项目。然后只需指定管道,将每个项目写入单独的文件
class SomePipeline(object):
...
def process_item(self, item, spider):
with open('file.txt', 'w') as f:
# format your item into a line here
f.write(line)
您的意思是将每个
项目实例放入一个单独的文件中吗?@alecxe是的,我是指每个项目