Machine learning 用于评估语法正确性的NLP技术?

Machine learning 用于评估语法正确性的NLP技术?,machine-learning,nlp,Machine Learning,Nlp,我很好奇如何运用NLP通过分析某人所写的文本来预测/评估他们的教育水平(或遵守正确的语法、拼写等) 它类似于:f(t)=s,其中t是一个文本,s是一个分数,它评估该文本的语法正确性 这是否存在?我不知道怎么找它。如果有,我想参考一些相关的论文或算法。它不存在。无论如何,“语法正确性”是一个模糊的概念,因为任何给定的语言都没有完整的语法描述。此外,我们都会说和写我们语言的不同变体,这是一个单一的语法所无法捕捉的。一种语言基本上是其使用者产生的所有个体变体的结合 撇开这些语言哲学问题不谈,也没有哪怕

我很好奇如何运用NLP通过分析某人所写的文本来预测/评估他们的教育水平(或遵守正确的语法、拼写等)

它类似于:f(t)=s,其中t是一个文本,s是一个分数,它评估该文本的语法正确性

这是否存在?我不知道怎么找它。如果有,我想参考一些相关的论文或算法。

它不存在。无论如何,“语法正确性”是一个模糊的概念,因为任何给定的语言都没有完整的语法描述。此外,我们都会说和写我们语言的不同变体,这是一个单一的语法所无法捕捉的。一种语言基本上是其使用者产生的所有个体变体的结合

撇开这些语言哲学问题不谈,也没有哪怕是一种语言的单一变体的正式语法可以作为基准。我想你能做的最接近的事情就是想出一些启发法和简单的规则(我假设商业语法检查器使用这些规则),比如检查阅读总是发生在第三人称单数名词之后。如果你有足够数量的这样的启发法,你可以根据语法性等同于不违反你编码的规则的定义来判断给定的文本是否符合语法

然而,语言非常灵活,很难在规则中捕捉到。有时,一个句子听起来可能像是一个错误,但在给定的上下文中它是好的。如果简单的话,可能已经有人做了,小学老师可以把精力集中在教授基本语法以外的任务上


你可能很容易捕捉到一些“错误”,但我不想猜测你会得到什么样的报道;有很多问题你很难抓住。

从Flesch/Flesch Kincaid等开始。你可以考虑拼写和语法,但这不会给更一般的可读性评分增加太多。