Python 如何将spaCy模型保存到缓存?

Python 如何将spaCy模型保存到缓存?,python,caching,spacy,Python,Caching,Spacy,我将spaCy与Python一起用于命名实体识别,但脚本要求每次运行时都加载模型,并需要大约1.6GB的内存来加载它。 但1.6GB并非每次运行都必不可少。 如何将其加载到缓存或临时内存中,以使脚本运行得更快?首先,如果您只安装NER,则可以安装解析器而不使用向量。 这可以将参数解析器提供给: python-mspacy.en.download parser 这将阻止下载700MB+手套向量,从而减少单次运行所需的内存 那么,这取决于您对库的应用/使用情况 如果您经常调用它,最好将spacy.l

我将spaCy与Python一起用于命名实体识别,但脚本要求每次运行时都加载模型,并需要大约1.6GB的内存来加载它。
但1.6GB并非每次运行都必不可少。

如何将其加载到缓存或临时内存中,以使脚本运行得更快?

首先,如果您只安装NER,则可以安装解析器而不使用向量。 这可以将参数解析器提供给:

python-mspacy.en.download parser

这将阻止下载700MB+手套向量,从而减少单次运行所需的内存

那么,这取决于您对库的应用/使用情况

如果您经常调用它,最好将
spacy.load('en')
传递给在堆栈的开头加载的模块/类变量

这将使您的启动时间减慢一点,但spacy将准备好(在内存中)被调用

(如果启动时间是个大问题,您可以执行延迟加载)