Python Scrapy 1.0：如何在芹菜中运行爬虫？

我尝试了文档中的示例，但第二次运行时会出现错误ReactorNotRestartable

settings = get_project_settings()

runner = CrawlerRunner(settings=settings)

@defer.inlineCallbacks
def crawl():
    yield runner.crawl(LatestNewsSpider)
    reactor.stop()

def run_spider():
    crawl()
    reactor.run()

---

在芹菜设置中将每个孩子的芹菜最大任务数设置为1。这将在每个子进程中只运行一个任务，因此它不会在同一进程中多次启动反应器

---

或者，您可以在线程中运行反应器，并且永远不会停止它。我不知道这是否有效。可能有用。

调整每个孩子的CELERYD\u MAX\u任务对我来说不起作用