Python 每次运行scrapy脚本时,ReactorNotRestartable
在运行脚本之后,我得到了Python 每次运行scrapy脚本时,ReactorNotRestartable,python,scrapy,twisted,Python,Scrapy,Twisted,在运行脚本之后,我得到了ReactorNotRestartable错误。我需要重新启动控制台以防止出现这种情况。我将Spyder与Python3.7一起使用 代码: 我尝试将process.start()更改为process.start(stop\u after\u crawl=False)以防止出现这种情况,但这只意味着代码在运行后不会退出,也无法解决问题 是否有办法在代码运行后关闭反应堆,以防止ReactorNotRestartable错误 从twisted.internet导入reacto
ReactorNotRestartable
错误。我需要重新启动控制台以防止出现这种情况。我将Spyder与Python3.7一起使用
代码:
我尝试将process.start()
更改为process.start(stop\u after\u crawl=False)
以防止出现这种情况,但这只意味着代码在运行后不会退出,也无法解决问题
是否有办法在代码运行后关闭反应堆,以防止ReactorNotRestartable
错误
从twisted.internet导入reactor导入时,我尝试了reactor.stop()
,但这仍然会导致后续运行代码时出错
谢谢
import scrapy
from scrapy.crawler import CrawlerProcess
# your spider
class QuotesSpider(scrapy.Spider):
name = "quotes"
start_urls = ['http://quotes.toscrape.com/tag/humor/']
def parse(self, response):
for quote in response.css('div.quote'):
print(quote.css('span.text::text').extract_first())
if __name__ == "__main__":
process = CrawlerProcess()
process.crawl(QuotesSpider)
process.start()