Fatal编程技术网
  • nlp/
  • Nlp 预测文本中的缺失词

Nlp 预测文本中的缺失词

nlp

Nlp 预测文本中的缺失词,nlp,bert-language-model,Nlp,Bert Language Model,当你们掩蔽一些单词并试图预测它们时，我知道伯特和其他解决方案。 但假设我有一段文字： 变压器采用了自然加工的方法 通过风暴，使该领域发生了翻天覆地的变化。新的,， 几乎每天都会出现更大更好的车型， 各种任务的绩效基准 我不能事先告诉伯特掩蔽在哪里。我正在寻找一种算法，它可以理解缺失单词的位置，然后预测它们。你可以做的是检查文本中的每个位置（我建议从位置2开始）比较文本中出现的下一个单词是否是根据模型最可能出现的下一个单词，如下所示： “变压器已被风暴自然处理[…]” 第一次迭代： 输入：“变压器

当你们掩蔽一些单词并试图预测它们时，我知道伯特和其他解决方案。 但假设我有一段文字：

变压器采用了自然加工的方法 通过风暴，使该领域发生了翻天覆地的变化。新的,， 几乎每天都会出现更大更好的车型， 各种任务的绩效基准

我不能事先告诉伯特掩蔽在哪里。我正在寻找一种算法，它可以理解缺失单词的位置，然后预测它们。

你可以做的是检查文本中的每个位置（我建议从位置2开始）比较文本中出现的下一个单词是否是根据模型最可能出现的下一个单词，如下所示：

“变压器已被风暴自然处理[…]”

  • 第一次迭代：
    • 输入：“变压器屏蔽”

    比较：MASK/“have”

  • 第二次迭代：
    • 输入：“变压器已采取屏蔽”

    比较：MASK/“the”

  • 第三次迭代：
    • 输入：“变压器已取下面罩”

    比较：MASK/“of”-这里你可能会有一个非常低的概率。 这可以帮助你检查这是否是丢失单词的地方

    这篇文章可以帮助您通过编程实现：