提要\导出\编码选项不适用于Scrapyd-Python Scrapy中的项目文件

我正在抓取中文网站

我有

FEED\u EXPORT\u ENCODING='utf-8'

在

settings.py

文件中

如果我通过

scrapy crawl myscrawer-o output.json

然后我的输出文件显示正确的中文

但是如果我通过

Scrapyd

启动我的scraper，那么在

http://my-website:6800/jobs

未编码且不正确

为什么

FEED\u EXPORT\u ENCODING='utf-8'

不使用Scrapyd

然后我设置了

FEED\u URI='files/output.json'

，然后通过Scrapyd运行scapper

现在，

FEED\u URI='files/output.json'

处的输出文件的格式/编码正确

---

什么地方会出错？

目前，我还没有看到Scrapyd在

FEED\u EXPORT\u编码方面有任何错误：它应该尊重（准确地说，不涉及）这个设置

但是如果我通过Scrapyd启动我的刮板，那么在中创建的项目就没有编码，也不正确

您是在浏览器窗口中查看项目，还是在本地磁盘上下载完整内容，并使用支持UTF-8的方法进行查看？

Scrapyd的webservice在为items（）提供服务时没有指定编码，这可能会导致错误解释。但是服务器（）上生成的项目文件应该是正常的。您能验证一下吗？
提要\u导出\u编码
版本1.2.0（）随附。在您的Scrapyd环境中使用的是哪个版本的Scrapy？@starrify
Scrapy 1.3.3
和
twistd（Twisted守护程序）16.4.1
您说得对，我从浏览器中查看了它，我下载了它，它看起来很好。。。好的，但它是在线的。。。我想做的另一件事是美化JSON，使其可读性…@Umair我个人强烈建议使用JSON行格式而不是JSON来存储抓取结果，因为大型JSON对象对内存相当不友好。关于可读性，有相当多的工具。您可以尝试，例如
cat results.jl | jq
。