Python 语法文本质量度量模型

Python 语法文本质量度量模型,python,tensorflow,nlp,evaluation,nlg,Python,Tensorflow,Nlp,Evaluation,Nlg,我通过转换器模型生成文本,我正在寻找一种测量语法文本质量的方法。 喜欢这段文字:“今天是个好日子。我睡得很好,早上起床也很好。” 评分应高于:“昨天我上床睡觉了,吃了早餐,儿子。” 有没有什么模型可以完成我以前没有找到的工作,或者有没有其他方法来衡量文本语法输出的质量 我发现,它可以选择显示文本是否有语法错误,但我更感兴趣的是一个分数,其中包括文本的长度和错误的数量。 此外,我还研究了NLTK的可读性,但这旨在了解文本的理解程度,这不仅仅取决于语法 谢谢大家! 所以我找到了我想要的: 在这项研究

我通过转换器模型生成文本,我正在寻找一种测量语法文本质量的方法。 喜欢这段文字:
“今天是个好日子。我睡得很好,早上起床也很好。”
评分应高于:
“昨天我上床睡觉了,吃了早餐,儿子。”

有没有什么模型可以完成我以前没有找到的工作,或者有没有其他方法来衡量文本语法输出的质量

我发现,它可以选择显示文本是否有语法错误,但我更感兴趣的是一个分数,其中包括文本的长度和错误的数量。 此外,我还研究了NLTK的可读性,但这旨在了解文本的理解程度,这不仅仅取决于语法


谢谢大家!

所以我找到了我想要的: 在这项研究中,研究人员测试了不同的测试方法,以测试他们在没有参考文献的文本中检查语法错误的能力(GLEU分数可以用来做什么)。他们还测试了同样用于开放办公室拼写检查的密码。该工具能够测量文本中语法错误的数量。出于我的目的,我将把错误的数量除以文本中的单词数量,这将给出一个错误度量

也许这对有同样问题的人有帮助。下面是基于pypi的示例代码:

import language_tool_python
tool = language_tool_python.LanguageTool('en-US')
text = "this is a test tsentence, to check if all erors are found"
matches = tool.check(text)
len(matches)
>>>3

你忘了提到我通过谷歌搜索“评估语言生成器模型的质量”得到的“你以前发现了什么”,也许它可以让你开始。谢谢你的文章,但是我知道一些评估方法,这不是我的问题。它直接指向测量文本语法的质量(仅限)也许API可能是你想要的我想到了一些已完成或预训练的模型,但是的,我认为它可以用于这种情况接受你的答案,因为你已经解决了它:)我需要等待2天,直到我能够。这就是计划:D