Fatal编程技术网
  • deep-learning/
  • Deep learning 如何提取bert+；将crf知识转换为更小的序列标记网络

Deep learning 如何提取bert+；将crf知识转换为更小的序列标记网络

deep-learning

Deep learning 如何提取bert+；将crf知识转换为更小的序列标记网络,deep-learning,lstm,crf,Deep Learning,Lstm,Crf,我使用BERT-BILSTM-CRF模型进行序列标记。我现在想要的是将重模型提取到一个更小的模型，如lstm crf。在查阅相关论文后，我发现几乎所有的解决方案都基于softmax输出，而不是crf输出。crf输出蒸馏是否有解决方案

我使用BERT-BILSTM-CRF模型进行序列标记。我现在想要的是将重模型提取到一个更小的模型，如lstm crf。在查阅相关论文后，我发现几乎所有的解决方案都基于softmax输出，而不是crf输出。crf输出蒸馏是否有解决方案