Machine learning 朴素贝叶斯示例中的特征独立性？

“朴素贝叶斯的另一个系统性问题是 假设特征是独立的，因此， 即使单词是相关的，每个单词也会起作用 独立的证据。因此 强词依赖类的权重 大于具有弱单词依赖项的类。 为了防止具有更多依赖项的类占据主导地位， 我们将分类权重标准化。”（）

---

这到底是什么意思？有什么例子可以更好地解释它吗？

朴素贝叶斯分类器会独立地考虑所有特征。基本上，这意味着特征组合的处理方式与每个特征单独出现的方式相同

例如。考虑三个句子

“纽约是一个拥挤的城市。”

“新车！我们提供最便宜的新车！”

“新酒吧‘猪肉屠宰场’今天在纽约开业。”

一个朴素的贝叶斯分类器可能最终会将标签“newyork”指定给所有这些句子。这会发生，因为它独立地观察“新”和“约克”两个词。从量词的角度来看，第一句包含两个词，表示标签“纽约”（即“新”和“纽约”），第二句也是（“新”和后来的“新”），第三句也是（“新”和后来的“纽约”）。它不关心第二句中缺少“York”一词，因为两次“new”可以弥补这一点（可能不是事实，因为“new”将出现在大量与纽约无关的文档中，但在本例中，我们只是假设这两个词的权重相等）。分类器也不会在意第三句中出现的单词彼此之间的距离

朴素贝叶斯也可以表示为图形模型，如图（）所示。然后，您可以将y视为类别“纽约”，将x1…x4视为可观察的特征“纽约”、“纽约”、“大”、“苹果”。请注意，存在从y到x1…x4的连接，但不存在每个x之间的连接

你发布的这段文章的第二部分似乎是关于权重标准化的。基本上，如果你有关于“东京”和“洛杉矶”这两个类别的文件，并且你假设这些城市的名称是以相等的权重指向相应类别的观察结果，那么一个只包含单词的文件

东京洛杉矶

---

将被您的朴素贝叶斯分类器分类为属于“洛杉矶”类别。这是因为有两个观察结果支持这一类别（“洛杉矶”，“洛杉矶”），但只有一个支持东京（“东京”）。因此，您将需要某种方法来规范化权重，以适应该问题。

朴素贝叶斯分类器考虑所有相互独立的特征。基本上，这意味着特征组合的处理方式与每个特征单独出现的方式相同

例如。考虑三个句子

“纽约是一个拥挤的城市。”

“新车！我们提供最便宜的新车！”

“新酒吧‘猪肉屠宰场’今天在纽约开业。”

一个朴素的贝叶斯分类器可能最终会将标签“newyork”指定给所有这些句子。这会发生，因为它独立地观察“新”和“约克”两个词。从量词的角度来看，第一句包含两个词，表示标签“纽约”（即“新”和“纽约”），第二句也是（“新”和后来的“新”），第三句也是（“新”和后来的“纽约”）。它不关心第二句中缺少“York”一词，因为两次“new”可以弥补这一点（可能不是事实，因为“new”将出现在大量与纽约无关的文档中，但在本例中，我们只是假设这两个词的权重相等）。分类器也不会在意第三句中出现的单词彼此之间的距离

朴素贝叶斯也可以表示为图形模型，如图（）所示。然后，您可以将y视为类别“纽约”，将x1…x4视为可观察的特征“纽约”、“纽约”、“大”、“苹果”。请注意，存在从y到x1…x4的连接，但不存在每个x之间的连接

你发布的这段文章的第二部分似乎是关于权重标准化的。基本上，如果你有关于“东京”和“洛杉矶”这两个类别的文件，并且你假设这些城市的名称是以相等的权重指向相应类别的观察结果，那么一个只包含单词的文件

东京洛杉矶

---

将被您的朴素贝叶斯分类器分类为属于“洛杉矶”类别。这是因为有两个观察结果支持这一类别（“洛杉矶”，“洛杉矶”），但只有一个支持东京（“东京”）。因此，你需要某种方法来规范你的权重，以适应这个问题。

你引用了一整段。到底什么不清楚？你引用了一整段。到底什么是不清楚的？

可能会将标签“纽约”指定给所有这些句子

第二句没有

纽约

，是的，但是如果你只在观察到

纽约

时才计算

纽约

，那么功能

纽约

将取决于

纽约

。在朴素贝叶斯中，所有特征都被视为彼此有条件地独立。因此

P（“New”|）=P（“New”|，“York”）

。因此，您可以将文档分类为关于纽约的

，即使

York

一词从未出现在文档中。（类似地，可能有数百个表示纽约的其他单词也不必出现在文档中。）

可能会将标签“纽约”分配给所有这些句子，但是如果你只在观察到纽约的情况下才算新的

，