Python 检测单词中的错误并在分类文本时修复它们(NLP)

Python 检测单词中的错误并在分类文本时修复它们(NLP),python,tensorflow,neural-network,nlp,Python,Tensorflow,Neural Network,Nlp,你好✌ 您可以通过维护词汇表并使用字符串度量(如)查找最接近的有效单词来纠正拼写错误。还有一些更高级的Python工具,如。也就是说,如果你打算使用预先训练好的单词嵌入,我不会太担心文本规范化,因为嵌入可能包含最常见的拼写变体。您可以查看您的数据中有多少词汇表外的单词,看看除了基本的标记化(以及将所有内容转换为小写)之外,是否值得花时间进行额外的清理。Thx非常感谢。你能再帮我一个问题吗?我的模型的结果是0.83。如果我发现并修复文本中的错误,结果是否有可能上升到0.9….?您使用的模型是什么?

你好✌ 您可以通过维护词汇表并使用字符串度量(如)查找最接近的有效单词来纠正拼写错误。还有一些更高级的Python工具,如。也就是说,如果你打算使用预先训练好的单词嵌入,我不会太担心文本规范化,因为嵌入可能包含最常见的拼写变体。您可以查看您的数据中有多少词汇表外的单词,看看除了基本的标记化(以及将所有内容转换为小写)之外,是否值得花时间进行额外的清理。

Thx非常感谢。你能再帮我一个问题吗?我的模型的结果是0.83。如果我发现并修复文本中的错误,结果是否有可能上升到0.9….?您使用的模型是什么?如何对文本进行编码?