Python Scrapy——从脚本调用Scrapy时,如何立即将字典返回到进程,而不是导出到json文件

Python Scrapy——从脚本调用Scrapy时,如何立即将字典返回到进程,而不是导出到json文件,python,json,scrapy,Python,Json,Scrapy,指定如何在python脚本中调用scrapy 通过更改以下设置属性: settings.overrides['FEED_URI'] = output_path settings.overrides['FEED_FORMAT'] = 'json' 我能够将刮取的数据存储在json文件中 但是,我试图在我定义的函数中处理并返回立即刮取的数据。因此,其他函数可以调用此包装器函数来废弃某些网站 我想一定有一些设置我可以使用FEED\u URI,但我不确定。任何建议都将不胜感激 提要导出的目的是序列化已

指定如何在python脚本中调用scrapy

通过更改以下设置属性:

settings.overrides['FEED_URI'] = output_path
settings.overrides['FEED_FORMAT'] = 'json'
我能够将刮取的数据存储在json文件中

但是,我试图在我定义的函数中处理并返回立即刮取的数据。因此,其他函数可以调用此包装器函数来废弃某些网站


我想一定有一些设置我可以使用
FEED\u URI
,但我不确定。任何建议都将不胜感激

提要导出的目的是序列化已刮取的数据(请参阅)。您试图做的并不涉及序列化

您要做的是创建一个。Scrapy会将刮下的
项目
传递到管道。它们是字典,你可以用它们做任何事。

创建管道?请参阅(非官方教程)。