Machine learning 为什么在Bert格式中需要一次性列？

我最近遇到了Bert（来自变压器的双向编码器表示）。我发现Bert需要一个严格的列车数据格式。所需的第三列描述如下：

第3栏：所有字母相同的栏 — 这是一个需要包含的一次性专栏，因为BERT模型需要它

什么是一次性列？为什么数据集中需要此列，因为它包含相同的字母

---

谢谢。

伯特在两项任务上接受了预先培训——蒙面语言建模和下一句预测

---

第三列（如您所指）仅用于下一个句子预测和需要多个句子（如问答）的下游任务。在这些情况下，列的值将不仅仅是A或0。句子1将全部为0，而句子2将全部为1，表示前者是句子A，后者是句子B。

这是否是诸如

EOS

（句末）等终止字符的列？或者，如果您显示它出现在代码或文献中的位置，我会看一看。