Python 运行时更新scrapy spider
我正在使用python scrapy包。有没有办法在爬行器运行时更新scrapy爬行器设置?我尝试了telnet console并通过以下方式更新设置:Python 运行时更新scrapy spider,python,web-scraping,scrapy,Python,Web Scraping,Scrapy,我正在使用python scrapy包。有没有办法在爬行器运行时更新scrapy爬行器设置?我尝试了telnet console并通过以下方式更新设置: settings.set('AUTOTHROTTLE_ENABLED', False) 当我启动spider时,“AUTOTHROTTLE_ENABLED”是真的。但是,在执行上述命令后,爬行器的行为没有改变。我错过什么了吗?谢谢 当发动机启动时,将加载刮擦设置,不能动态更改 我不确定你想要达到什么目标,但是你应该考虑在飞行中调整。p> 此外
settings.set('AUTOTHROTTLE_ENABLED', False)
当我启动spider时,“AUTOTHROTTLE_ENABLED”是真的。但是,在执行上述命令后,爬行器的行为没有改变。我错过什么了吗?谢谢 当发动机启动时,将加载刮擦设置,不能动态更改 我不确定你想要达到什么目标,但是你应该考虑在飞行中调整。p>
此外,调查可以帮助您找到更多选择。谢谢!我是新来的刮痧,所以基本上我是用不同的设置进行实验。因此,AUTOTHROTTLE_ENABLE不能在运行中更改,但download_delay等其他功能可以在运行中更改@user4389295项目设置,但spider实例上有一个
download_delay
属性-这是可以更改的smth。