Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/python/282.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
python Scrapy:如何控制输出json文件中的项?_Python_Json_Scrapy - Fatal编程技术网

python Scrapy:如何控制输出json文件中的项?

python Scrapy:如何控制输出json文件中的项?,python,json,scrapy,Python,Json,Scrapy,我正在使用PythonScrapy进行一个项目,在这个项目中,我将不断地获取项目。 我想将项目输出到一组.json文件中,并确保每个文件 包含固定数量的项目,例如1000。我知道scrapy提供了一种 输出为json: 但它似乎没有包含生成多个json文件的方法 如上所述自动存储项目 我想知道是否有人遇到过类似的问题或有类似的需求? 如果可能的话,如何解决这个问题?提前谢谢 在序列化它们时对它们进行计数,然后在达到固定的打开计数时,写入并关闭一个文件,然后重新开始。我会在管道级别执行此操作。定

我正在使用PythonScrapy进行一个项目,在这个项目中,我将不断地获取项目。 我想将项目输出到一组.json文件中,并确保每个文件 包含固定数量的项目,例如1000。我知道scrapy提供了一种 输出为json:

但它似乎没有包含生成多个json文件的方法 如上所述自动存储项目

我想知道是否有人遇到过类似的问题或有类似的需求?
如果可能的话,如何解决这个问题?提前谢谢

在序列化它们时对它们进行计数,然后在达到固定的打开计数时,写入并关闭一个文件,然后重新开始。我会在管道级别执行此操作。定义保持导出项目计数的类级别变量。然后,在
process\u item
方法中,关闭导出器文件,如果计数达到限制,则打开另一个导出器文件。请参阅文档中的一篇文章。谢谢。请您解释一下如何定义这个可以在管道中访问的类级别变量@阿莱克斯