Machine learning 朴素贝叶斯与Logistic回归误差率

我一直在试图找出这两种模型中错误率和特征数量之间的相关性。我看了一些视频，视频的创建者说简单的模型比复杂的模型更好。所以我认为我拥有的功能越多，错误率就越高。这在我的工作中并没有被证明是正确的，当我的功能较少时，错误率就会上升。我不确定我是否做得不对，或者视频中的那个人是否犯了错误。有人能解释一下吗？我也很好奇特征与逻辑回归的错误率之间的关系。

朴素贝叶斯和逻辑回归是一对“生成判别对”，这意味着它们具有相同的模型形式（线性分类器），但它们以不同的方式估计参数

对于特征x和标签y，朴素贝叶斯根据训练数据估计联合概率p（x，y）=p（y）*p（x | y）（即，建立一个可以“生成”数据的模型），并使用贝叶斯规则预测新测试实例的p（y | x）。另一方面，逻辑回归通过最小化误差函数（更具“区分性”）直接从训练数据估计p（y | x）

这些差异对错误率有影响：

当训练实例很少时，逻辑回归可能“过度拟合”，因为没有足够的数据可靠地估计p（y | x）。朴素贝叶斯可能做得更好，因为它模拟了整个联合分布

当特征集很大（并且稀疏，就像文本分类中的单词特征一样）时，朴素贝叶斯可能会“重复计算”相互关联的特征，因为它假设每个p（x | y）事件是独立的，而它们不是独立的。逻辑回归可以通过在这些相关特征之间自然地“分割差异”来做得更好

---

如果特性确实（大部分）是条件独立的，那么如果有足够的数据实例，这两个模型实际上可能会随着越来越多的特性而改进。当训练集的大小相对于特征的数量很小时，问题就出现了。在这些情况下，朴素贝叶斯特征参数的先验知识或逻辑回归的正则化方法（如L1/Lasso或L2/Ridge）可以有所帮助。

这不是编程问题；也就是说，“简单的模型可能比复杂的模型好”并不意味着简单的模型总是比复杂的模型好；这是一个权衡。否则，常数预测器将是最好的模型，不会有机器学习这样的领域。谢谢你，我将从现在开始问我的问题。如果事件空间相同，逻辑回归分类器的复杂性与朴素贝叶斯分类器相同——它们形成生成/判别对，并具有相同的分类规则形式。请注意，NB参数上的先验与LR中的正则化起着相同的作用——事实上，可以将正则化解释为LR参数上的先验。