Nlp 关于贝特斯凯德姆

我最近读到了关于Bert的文章，想用BertForMaskedLM来完成填充掩码任务。我知道伯特建筑。另外，据我所知，BertForMaskedLM是由Bert构建的，上面有一个语言建模头，但我不知道语言建模头在这里的意思。谁能给我一个简单的解释。

正如您所理解的，BertForMaskedLM正确地使用了语言建模（LM）头

---

通常，在这种情况下，LM head是一个线性层，具有隐藏状态的输入维度（对于BERT base，它将是768）和词汇大小的输出维度。因此，它将伯特模型的隐藏状态输出映射到词汇表中的特定标记。损失根据给定令牌相对于目标令牌获得的分数计算。

给定的vocab大小为30.000。这里的线性层是一个线性变换，像Ax+b，x的形状是768x1，a的形状是30000x768？这里有激活功能吗？是的，你做对了。huggingface的源代码在线性层之后没有显示激活函数…非常感谢。顺便问一下，你知道从伯特那里发展出来的用于任务（）的任何模型吗：“在空白处填上一个单词作为文章”。我知道BERT是两个助教的预训练模型：MASK LM（*）和NSP。任务**和任务*都一样吗？。或者确实有办法（任何项目、论文……）来配合任务*（我这里的“文章”可能是一篇长文章，有几个空白需要填写）。提前感谢。如果您只需要填写一个单词（屏蔽一个标记），那么伯特模型就足够好了。。。然而，如果你想在一个蒙面位置填充多个单词，你可以看看BART，它是在文本填充目标上训练的。