Nlp 基于词典的文本分析。有没有算法可以进行概率类别分配？_Nlp

Nlp 基于词典的文本分析。有没有算法可以进行概率类别分配？

nlp

Nlp 基于词典的文本分析。有没有算法可以进行概率类别分配？,nlp,Nlp,我使用基于词典的方法进行文本分析。基本上，我有一个长长的单词列表，上面标记着它们是否是积极的/消极的/愤怒的/悲伤的/快乐的等等。我将要分析的文本中的单词与词典中的单词进行匹配，以帮助我确定我的文本是否是积极的/消极的/愤怒的/悲伤的/快乐的等等但我想分析的文本长度各不相同。他们大多在100字以下，但考虑下面的例子：约翰很高兴。（1个“快乐”类单词的快乐得分为33%）约翰昨天告诉玛丽他很高兴。（12.5%的人感到高兴）因此，比较不同的句子，我的第一句话似乎比第二句话更“快乐”，原因很简单

我使用基于词典的方法进行文本分析。基本上，我有一个长长的单词列表，上面标记着它们是否是积极的/消极的/愤怒的/悲伤的/快乐的等等。我将要分析的文本中的单词与词典中的单词进行匹配，以帮助我确定我的文本是否是积极的/消极的/愤怒的/悲伤的/快乐的等等

但我想分析的文本长度各不相同。他们大多在100字以下，但考虑下面的例子：

约翰很高兴。（1个“快乐”类单词的快乐得分为33%）

约翰昨天告诉玛丽他很高兴。（12.5%的人感到高兴）

因此，比较不同的句子，我的第一句话似乎比第二句话更“快乐”，原因很简单，因为这句话较短，而且“快乐”一词的比例不成比例

你有没有一种算法或计算方法可以让我做一个更公平的比较，也许是考虑到句子的长度？

忽略

HappyTimeGopher

提出的否定问题，你可以简单地将句子中快乐词的数量除以句子的长度。你会得到：

约翰很高兴。（1个单词在“快乐”类别中/3个单词在句子中=快乐得分33%）

约翰昨天告诉玛丽他很高兴。（1/8=12.5%快乐）

请记住，基于单词列表的方法只能做到这一点。“我对食物很满意，但服务员很糟糕”的分数应该是多少？考虑使用一个更复杂的系统---下面的论文是一个很好的开始你的研究的地方：

Choi，Y.，和Cardie，C.（2008）。使用组合语义作为结构推理进行语义下情感分析的学习
Moilanen，K.，和Pulman，S.（2009）。多实体情绪评分
彭宝莉（2008）。意见挖掘和情绪分析
彭斌、李立群和魏锡亚纳桑（2002）。竖起大拇指？：使用机器学习技术进行情感分类
Turney，P.D.，和Littman，M.L.（2003）。评价赞扬和批评：从联想中推断语义取向