HuggingFace变压器如何在添加附加keras层后冻结基础变压器

我想在预训练的BERT模型的最后一层之后添加一个回归层。 所以应该是这样的：

output = bert_model([input_ids,attention_masks])
output = output[1]
output = tf.keras.layers.Dense(100,activation='relu')(output)

但我不知道如何冻结伯特模型，只训练回归层。

---

有可能吗？

您可以使用

layer\u name.trainable=False来冻结keras中的模型权重

在您的情况下，您可以修改如下：

# assuming that you have defined bert_model as a layer before
bert_model.trainable = False
output = bert_model([input_ids,attention_masks])
output = output[1]
output = tf.keras.layers.Dense(100,activation='relu')(output)