Python 3.x 在scrapyd中,如何通过调度api传递提要URI值
我希望scrapyd在云上运行我的spider,为此我希望在scrapyd命令中将FEED_URI的值作为参数传递 目前,我在自定义设置中使用以下配置将输出存储在s3上Python 3.x 在scrapyd中,如何通过调度api传递提要URI值,python-3.x,scrapy,scrapyd,Python 3.x,Scrapy,Scrapyd,我希望scrapyd在云上运行我的spider,为此我希望在scrapyd命令中将FEED_URI的值作为参数传递 目前,我在自定义设置中使用以下配置将输出存储在s3上 custom_settings = { 'FEED_FORMAT':'csv', 'FEED_URI':'s3://my_bucket/%s'%('OP_FILE') } 但是,我希望通过 curl http://localhost:6800/schedule.json -d p
custom_settings = {
'FEED_FORMAT':'csv',
'FEED_URI':'s3://my_bucket/%s'%('OP_FILE')
}
但是,我希望通过
curl http://localhost:6800/schedule.json -d project=link -d spider=link -d OP_FILE="output_link.csv"
显然,不能在link spider类的“init”方法内设置自定义_设置值
我能做些什么来解决这个问题