如何以json格式存储scrapyd项

我正在尝试将

scrapyd

项存储在

JSON文件中

。实际上，默认情况下，它将项目存储在json文件中，但如下所示： 文件1：

如果我通过scrapy crawl spidername-o fileName-t json运行我的spider

它将存储如下所示的项目： 文件2：

如果我试图将文件_1的粘贴内容复制到中，我会得到一个错误，即expected

[

---

但是文件2很好用。有谁能告诉我如何使用scrapyd以正确的JSON格式存储项目吗？实际上，它是一种j

子行

格式，

JSON

不适合非常多的投标数据。这就是为什么scrapy以逗号分隔的格式分隔每个

项目

。您可以添加

[&]

在文件的开头和结尾将是

json

，然后，

尝试将项目直接保存到数据库中，而不是将其存储在文件中……然后将项目从文件存储到数据库……或者尝试从该json文件逐行读取，然后做任何你想做的事情，而不是一次读取整个文件……

添加到您的

设置.py

：

FEED_FORMAT='json'

---

啊，我忘记了我的错误，你需要在每一行的结尾加上逗号。或者你也可以把每一行读成字典。这确实会改变指定提要的实际输出，但不会改变提要的uri

[{item1},
{item2},
....]

FEED_FORMAT='json'