Python scrapyd-同时运行spider时出错

Python scrapyd-同时运行spider时出错,python,scrapy,scrapyd,Python,Scrapy,Scrapyd,我想用scrapyd同时运行两个scrapy蜘蛛。 我执行 curl http://localhost:6800/schedule.json -d project=myproject -d spider=somespider 结果-{“状态”:“确定”,“作业ID”:“6487ec79947edab326d6db28a2d86511e8247444”} 然后: 结果- python2.7/site-packages/twisted/web/server.py", line 234, i

我想用scrapyd同时运行两个scrapy蜘蛛。 我执行

curl http://localhost:6800/schedule.json -d project=myproject -d spider=somespider
结果-{“状态”:“确定”,“作业ID”:“6487ec79947edab326d6db28a2d86511e8247444”} 然后:

结果-

    python2.7/site-packages/twisted/web/server.py", line 234, in render
            body = resrc.render(self)
        --- <exception caught here>
        File "/usr/local/lib/python2.7/json/decoder.py", line 383, in raw_decode
raise ValueError("No JSON object could be decoded")
            exceptions.ValueError: No JSON object could be decoded
python2.7/site packages/twisted/web/server.py”,第234行,呈现
body=resrc.render(自)
--- 
原始解码中的文件“/usr/local/lib/python2.7/json/decoder.py”,第383行
raise VALUERROR(“无法解码JSON对象”)
exceptions.ValueError:无法解码任何JSON对象
每次我为scrapyd运行curl时,都会得到相同的异常。ValueError:无法解码JSON对象。继续使用scrapyd的唯一方法是重新启动它。 如何使用scrapyd运行多个spider?为什么会出现此错误



我使用的是Scrapy1.1、ScrapyD1.1、Python2.7.9

你的错误与scrapyd无关,最有可能的错误是在你的爬行器“somespider2”中。只要确保你能够通过命令行正确运行“somespider2”。

你的错误与scrapyd无关,最有可能的错误是在你的爬行器“somespider2”中。只要确保目前,您可以通过命令行正确运行“somespider2”。

问题出在我的Centos6.5中安装的sqlite3中。 决定: 需要添加

self.conn.text_factory = bytes

在a
scrapyd/sqlite.py b/scrapyd/sqlite.py

中创建连接后,要创建SqliteDict和SqlitePriorityQueue类,问题出现在Centos6.5中安装的sqlite3中。 决定: 需要添加

self.conn.text_factory = bytes

在a
scrapyd/sqlite.py b/scrapyd/sqlite.py

中创建连接后,创建SqliteDict和SqlitePriorityQueue类,那么为什么在运行someSpider twise时会发生相同的错误?(第一次scrapyd返回作业ID)更重要的是,如果使用'listspider'参数执行两次curl,我会得到相同的错误。(第一次scrapid返回正确的结果)那么,为什么在运行someSpider twise时会发生相同的错误?(第一次scrapid返回作业ID)此外,如果我使用'listspiders'参数执行两次curl,我会得到相同的错误。(第一次scrapid返回正确的结果)问题可能与sqlite3版本有关。问题可能与sqlite3版本有关