Machine learning 从句法正确性和语义连贯性的角度衡量BERT模型

例如，我有一个原始的句子。单词barking对应于缺少的单词

Original Sentence : The dog is barking.
Incomplete Sentence : The dog is ___________.

例如，使用伯特模型，它预测的是哭泣这个词，而不是吠叫这个词。 我将如何根据预测词的语法正确性和语义连贯性来衡量伯特模型的准确性

（例如，有很多不完整的句子，任务是根据这些不完整的句子评估BERT的准确性。）请帮助。

对于语法，您可以使用例如来确定句子是否符合语法。这是最大的手工策划的英语语法描述，你可以试试。语法（考虑到它有足够大的覆盖范围，而它们通常没有）拒绝解析不合语法的句子，而不像统计/神经解析器那样乐于解析一切（通常比语法更好）

---

估计语义合理性是一项非常困难的任务，鉴于BERT可能是当前最好的语言模型之一，您不能使用其他语言模型作为参考。有一些学术论文是关于语义合理性建模的，你可以从这些论文开始，例如。

狗不允许哭吗？似乎是一个完美的句子，在句法和语义上。。。