Nlp 如何预测给定句子中的蒙面词

FitBERT是一个有用的软件包，但我对用于蒙面词预测的BERT开发有一点怀疑，如下所示：我使用Google的脚本（如

create\u pretraining\u data.py

，

run\u pretraining.py

，

extract\u features.py

等）训练了一个带有自定义语料库的BERT模型，

.tfrecord

文件、

.json

文件和检查点文件

---

现在，如何在程序包中使用这些文件预测给定句子中的蒙面词？？？

来自tensorflow文档：

TFRecord文件将数据存储为二进制字符串序列。这意味着您需要在将数据写入文件之前指定数据的结构。Tensorflow为此提供了两个组件：tf.train.Example和tf.train.SequenceExample。您必须将每个数据样本存储在其中一个结构中，然后将其序列化并使用tf.python_io.TFRecordWriter将其写入磁盘

这一点以及如何很好地解释如何使用这些文件类型

相反，通过库直接使用FitBERT时，您可以按照项目文档中的示例进行操作