Mongodb 在scrapinghub spider中添加设置

Mongodb 在scrapinghub spider中添加设置,mongodb,scrapy,scrapinghub,Mongodb,Scrapy,Scrapinghub,我正在尝试在scrapinghub平台的spider中启用mongodb。为此,我必须通过UI中的“EXTENSIONS”设置启用扩展。但是,在运行spider时,我得到以下错误: ValueError: Some paths in "{'scrapy.contrib.feedexport.FeedExporter': None}" convert to the same object, please update your settings exceptions.ValueError: So

我正在尝试在scrapinghub平台的spider中启用mongodb。为此,我必须通过UI中的“EXTENSIONS”设置启用扩展。但是,在运行spider时,我得到以下错误:

ValueError: Some paths in "{'scrapy.contrib.feedexport.FeedExporter': None}" convert to the same object, please update your settings
exceptions.ValueError: Some paths in "{'scrapy_mongodb.MongoDBPipeline': 300}" convert to the same object, please update your settings
我的设置如下:

EXTENSIONS = {'scrapy.contrib.feedexport.FeedExporter': None}
ITEM_PIPELINES = {'scrapy_mongodb.MongoDBPipeline': 300}
如果删除此设置,则会出现以下错误:

ValueError: Some paths in "{'scrapy.contrib.feedexport.FeedExporter': None}" convert to the same object, please update your settings
exceptions.ValueError: Some paths in "{'scrapy_mongodb.MongoDBPipeline': 300}" convert to the same object, please update your settings
设置如下:

EXTENSIONS = {'scrapy.contrib.feedexport.FeedExporter': None}
ITEM_PIPELINES = {'scrapy_mongodb.MongoDBPipeline': 300}

令人担忧的是,这两个设置在本地scrapyd中都能正常工作。

Scrapy Cloud会将设置的任何给定值转换为字符串。在您的例子中,您使用的字典被解释为字符串
“{scrapy.contrib.feedexport.FeedExporter':None}”

问题是在Scrapy中不支持为
扩展设置字符串(事实上,大多数接受字典值的设置都不支持它,通常是因为它们可以接受其他值类型,因此将这些
字符串
强制转换为
dict
可能会导致意外的结果)


在处理设置的零碎代码中有一些更改,因此实际问题被隐藏了,但应该是这样。仅将设置放在项目设置文件
settings.py
中应该可以解决问题。

您可以在本地使用Scrapy 1.0进行尝试吗?是的,在本地使用新版本时效果很好。是否有任何原因不应该在scrapinghub中使用?我发现即使他们使用v1.0