Python CrawlerRunner没有等吗?
我试图使用以下函数等待爬虫完成并返回所有结果。但是,当爬虫程序仍在运行时调用此函数时,它总是立即返回。我错过了什么?join()不应该等待吗Python CrawlerRunner没有等吗?,python,scrapy,web-crawler,Python,Scrapy,Web Crawler,我试图使用以下函数等待爬虫完成并返回所有结果。但是,当爬虫程序仍在运行时调用此函数时,它总是立即返回。我错过了什么?join()不应该等待吗 def spider_results(): runner = CrawlerRunner(get_project_settings()) results = [] def crawler_results(signal, sender, item, response, spider): results.append(
def spider_results():
runner = CrawlerRunner(get_project_settings())
results = []
def crawler_results(signal, sender, item, response, spider):
results.append(item)
dispatcher.connect(crawler_results, signal=signals.item_passed)
runner.crawl(QuotesSpider)
runner.join()
return results
根据残缺文件()
在这种情况下,建议使用CrawlerProcess类。根据scrapy docs()
在这种情况下,建议使用CrawlerProcess类