Nlp 词干化和去模糊化的区别

在理解字符串匹配时：词干提取和去模糊化之间的确切区别是什么

---

还是它们的意思相同？

它们不一样。有几种方法可以阻止一个词，去模糊化是一种策略

---

举一个简单的例子：词干分析器可能会将“childish”变成“child”，或者将单词“stemmer”变成“stem”，而去模糊算法则不会。

词干分析器是将具有相同词根的多个单词转换成一个单词。 例如“猫”、“猫样”、“猫”到“猫”

去模糊化是将复数词转换成单数。 从“猫”到“猫”

词干分析和算法的其他信息

---

首先，词干分析是指将一个单词缩减为词干的过程。然而，这可能意味着许多不同的事情。大多数语言学家至少区分两种方法：

删除语法语素，但不删除派生语素。语法语素是单词中与其在特定句子中的语法作用相关的成分，例如数字、大小写、性别、时态、体等

删除语法语素和派生语素。派生语素是一个词中与其从另一个词派生相关的成分，例如，“worker”中的“-er”与它如何从“work”派生（或可以被视为派生）相关

因此，去模糊化，这是一个相当不寻常的术语，但显然是指删除复数语素（如“计算机”末尾的“-s”），是一种词干化的一部分，特别是删除语法（但不是派生）语素的一部分

在英语中，名词的词法在很大程度上仅限于复数（“计算机”）和属格（第二种情况，“计算机”），因此，就英语而言，去模糊化可能被视为（几乎）同义于（语法）词干，至少在词干应用于名词的程度上是如此，在某种程度上，形容词（例如在信息检索的上下文中）。然而，无论在哪里考虑动词，过去式、被动语态和其他屈折形式都会受到词干的影响（但不受去模糊化的影响）

此外，在英语以外的语言中，即使是名词也可能有非常丰富的词法，包括大小写、礼貌程度或特殊复数形式（如对偶）的语素。然后，去氟化（如果你想使用这个术语的话）只会涉及整个堵塞过程的一小部分

另一个相关术语是柠檬化，它通常与词干化同义。我发现许多人（包括我自己）对这两个问题的区别是：

• 词干分析是指一种基于规则或基于机器学习的技术，它可以删除单词中看起来像语法语素的部分（主要是词尾）

• 引理化是指同样的过程，但使用该语言的实际词典处理高度不规则的形式（如复数“women”）

（但同样，并非所有人都会同意这一区别。）