Fatal编程技术网
  • python/
  • Python 如何在培训期间保持模型固定？

Python 如何在培训期间保持模型固定？

python deep-learning nlp pytorch

Python 如何在培训期间保持模型固定？,python,deep-learning,nlp,pytorch,huggingface-transformers,Python,Deep Learning,Nlp,Pytorch,Huggingface Transformers,我正在尝试实现一个模型，该模型使用来自不同数据集上多个预先训练的BERT模型的编码，并使用完全连接的层获得组合表示。在这里，我希望伯特模型应该保持固定，只有完全连接的层应该得到训练。有没有可能在面部变形金刚中实现这一点？我没有看到任何允许我这么做的旗帜 PS：我不想对每个伯特模型的输入进行编码，并将它们用作输入 一个简单的解决方案是，在传递给优化器时，只排除与伯特模型相关的参数 param_optimizer=[x代表param_optimizer中的x，如果'bert'不在x[0]] 优化器=

我正在尝试实现一个模型，该模型使用来自不同数据集上多个预先训练的BERT模型的编码，并使用完全连接的层获得组合表示。在这里，我希望伯特模型应该保持固定，只有完全连接的层应该得到训练。有没有可能在面部变形金刚中实现这一点？我没有看到任何允许我这么做的旗帜

PS：我不想对每个伯特模型的输入进行编码，并将它们用作输入

一个简单的解决方案是，在传递给优化器时，只排除与伯特模型相关的参数

param_optimizer=[x代表param_optimizer中的x，如果'bert'不在x[0]]
优化器=AdamW（参数优化器，lr）
您是否正在Hugginface中寻找一个预定义的类，该类允许您执行此操作；i、 例如，获取所提供输入的组合表示？您可能知道BertModel类，但您的上一个PS让我犹豫是否发布答案。不确定我是否真的了解您要做的事情，但您不能简单地不将此参数用于优化器吗？是的，我尝试了同样的方法，效果很好。谢谢@cronoik。如果你能自己提交一个答案，让这个问题对其他人有用，那就太好了。当然，cronoik！谢谢！