Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/python/324.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Python CrawlerRunner没有等吗?_Python_Scrapy_Web Crawler - Fatal编程技术网

Python CrawlerRunner没有等吗?

Python CrawlerRunner没有等吗?,python,scrapy,web-crawler,Python,Scrapy,Web Crawler,我试图使用以下函数等待爬虫完成并返回所有结果。但是,当爬虫程序仍在运行时调用此函数时,它总是立即返回。我错过了什么?join()不应该等待吗 def spider_results(): runner = CrawlerRunner(get_project_settings()) results = [] def crawler_results(signal, sender, item, response, spider): results.append(

我试图使用以下函数等待爬虫完成并返回所有结果。但是,当爬虫程序仍在运行时调用此函数时,它总是立即返回。我错过了什么?join()不应该等待吗

def spider_results():
    runner = CrawlerRunner(get_project_settings())
    results = []

    def crawler_results(signal, sender, item, response, spider):
        results.append(item)

    dispatcher.connect(crawler_results, signal=signals.item_passed)
    runner.crawl(QuotesSpider)
    runner.join()
    return results
根据残缺文件() 在这种情况下,建议使用CrawlerProcess类。

根据scrapy docs() 在这种情况下,建议使用CrawlerProcess类