Fatal编程技术网
  • nlp/
  • Nlp 如何用FP16混合精度训练Spacy3项目

Nlp 如何用FP16混合精度训练Spacy3项目

nlp pytorch

Nlp 如何用FP16混合精度训练Spacy3项目,nlp,pytorch,spacy,huggingface-transformers,spacy-3,Nlp,Pytorch,Spacy,Huggingface Transformers,Spacy 3,目标是以FP16混合精度运行python-m spacy train，以便在有限的VRAM（RTX 2080ti 11 GB）中使用大型变压器（roberta large，albert large等） 新的Spacy3 to training直接使用loaded via。Huggingface模型可以通过添加--fp16标志（）以混合精度运行 spacy配置是使用python-msapacy init config--langen--pipeline ner--optimize efficien

目标是以FP16混合精度运行
python-m spacy train
，以便在有限的VRAM（RTX 2080ti 11 GB）中使用大型变压器（
roberta large
，
albert large
等）

新的Spacy3 to training直接使用loaded via。Huggingface模型可以通过添加
--fp16
标志（）以混合精度运行

spacy配置是使用
python-msapacy init config--langen--pipeline ner--optimize efficiency--gpu-F default.cfg
生成的，并通过
python-msapacy init fill config default.cfg config.cfg--diff
检查是否完整。但未发现FP16/混合精度

复制 在
project.yml
中使用更改的
init config
使用GPU和转换器（
roberta base
默认情况下）：

命令：
-
名称：init config
帮助：“生成变压器配置”
脚本：
-“python-mspacy init config--langen--pipeline ner--gpu-F--optimize efficiency-C configs/${vars.config}.cfg”
测试了什么
  • 将
    --fp16
    添加到
    python-mspacy项目运行中
  • 将
    --fp16
    添加到
    python-m空间序列中
  • 在各个部分（
    [components.transformer]、[components.transformer.model]、[training]、[initialize]
    ）中，将
    fp16=true
    添加到
    default.cfg
    ）
逻辑was
变压器
在FP16中运行，如下所示：

来自变压器导入培训论证
培训参数（…，fp16=True，…）
软件栈细节 
-spacy 3.0.3
-空间变压器1.0.1
-变压器4.2.2
-火炬1.6.0+cu101