Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/python/310.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Python 运行时更新scrapy spider_Python_Web Scraping_Scrapy - Fatal编程技术网

Python 运行时更新scrapy spider

Python 运行时更新scrapy spider,python,web-scraping,scrapy,Python,Web Scraping,Scrapy,我正在使用python scrapy包。有没有办法在爬行器运行时更新scrapy爬行器设置?我尝试了telnet console并通过以下方式更新设置: settings.set('AUTOTHROTTLE_ENABLED', False) 当我启动spider时,“AUTOTHROTTLE_ENABLED”是真的。但是,在执行上述命令后,爬行器的行为没有改变。我错过什么了吗?谢谢 当发动机启动时,将加载刮擦设置,不能动态更改 我不确定你想要达到什么目标,但是你应该考虑在飞行中调整。p> 此外

我正在使用python scrapy包。有没有办法在爬行器运行时更新scrapy爬行器设置?我尝试了telnet console并通过以下方式更新设置:

settings.set('AUTOTHROTTLE_ENABLED', False)

当我启动spider时,“AUTOTHROTTLE_ENABLED”是真的。但是,在执行上述命令后,爬行器的行为没有改变。我错过什么了吗?谢谢

当发动机启动时,将加载刮擦设置,不能动态更改

我不确定你想要达到什么目标,但是你应该考虑在飞行中调整。p>
此外,调查可以帮助您找到更多选择。

谢谢!我是新来的刮痧,所以基本上我是用不同的设置进行实验。因此,AUTOTHROTTLE_ENABLE不能在运行中更改,但download_delay等其他功能可以在运行中更改@user4389295项目设置,但spider实例上有一个
download_delay
属性-这是可以更改的smth。