Fatal编程技术网
  • json/
  • Json 如何处理BERT“；UNK"；输出预测中的令牌

Json 如何处理BERT“；UNK"；输出预测中的令牌

json

Json 如何处理BERT“；UNK"；输出预测中的令牌,json,bert-language-model,Json,Bert Language Model,我在我的数据上训练一个预先训练过的伯特模型。 我尝试创建一个包含两个列表的Json： 第一：模型预测列表（期望值） 第二：真实值列表 但是第一个列表中有许多['UNK']标记 像这样的事情： 为什么会这样？我该怎么解决呢 此UNK标记使预测结果接近于零：( 因为准确率是建立在真实和欲望的精确匹配基础上的，而这些未知因素使得欲望不同 我能做些什么呢？最终，我发现了问题……我使用的Bert版本被改编成了波斯语，我没有完全通过波斯语规范化过程：） 在完成该阶段并在Bert配置中进行一些调试后，它解决

我在我的数据上训练一个预先训练过的伯特模型。
我尝试创建一个包含两个列表的Json：
第一：模型预测列表（期望值）
第二：真实值列表

但是第一个列表中有许多['UNK']标记
像这样的事情：

为什么会这样？我该怎么解决呢

此UNK标记使预测结果接近于零：( 因为准确率是建立在真实和欲望的精确匹配基础上的，而这些未知因素使得欲望不同

我能做些什么呢？

最终，我发现了问题……我使用的Bert版本被改编成了波斯语，我没有完全通过波斯语规范化过程：） 在完成该阶段并在Bert配置中进行一些调试后，它解决了：）