Scrapy不获取设置从curl scrapyd设置获取
我想通过以下方式将设置发送到爬网程序:Scrapy不获取设置从curl scrapyd设置获取,curl,scrapy,settings,scrapyd,Curl,Scrapy,Settings,Scrapyd,我想通过以下方式将设置发送到爬网程序: curl http://127.0.0.1:6800/ -d project=project -d spider=spider -d setting=request_user=2 或者使用python api: scrapyd.schedule(project,spider,settings={'request_user':2}) 然后从蜘蛛内部: from scrapy.utils.project import get_project_settin
curl http://127.0.0.1:6800/ -d project=project -d spider=spider -d
setting=request_user=2
或者使用python api:
scrapyd.schedule(project,spider,settings={'request_user':2})
然后从蜘蛛内部:
from scrapy.utils.project import get_project_settings
settings=get_project_settings()
request_user=settings.get('request_user')
然而,我总是得到request\u user==None
,这意味着爬虫程序永远不会从scrapyd计划接收设置。怎么了
提前感谢
request\u用户
是一个spider变量,而不是设置。因此,您可以像这样将其传递给spider:
Scrapyd JSON API:
curl http://127.0.0.1:6800/schedule.json -d project=project -d spider=spider -d request_user=2
Scrapyd python API:
scrapyd.schedule(project,spider,request_user=2)
更多信息:
JSON API中的计划:
Scrapyd python API中的计划:
request\u user
是一个spider变量,而不是一个设置。因此,您可以像这样将其传递给spider:
Scrapyd JSON API:
curl http://127.0.0.1:6800/schedule.json -d project=project -d spider=spider -d request_user=2
Scrapyd python API:
scrapyd.schedule(project,spider,request_user=2)
更多信息:
JSON API中的计划:
python API中的计划: