Algorithm 朴素贝叶斯分类器,解释模型拟合和预测算法

Algorithm 朴素贝叶斯分类器,解释模型拟合和预测算法,algorithm,machine-learning,Algorithm,Machine Learning,我有下面两个方程,它们与朴素贝叶斯分类器的模型拟合和预测算法有关 我试图理解算法3.2的第6行在做什么。我认为它试图通过使用log-sum-exp技巧使数字变得“更好”,我仍然不完全理解这一点。有人能概述一下为什么要这样做吗?具体来说,logsumexp(Li,:)的参数是什么意思 logsumexp(Li,:) 还有谁能告诉我算法3.1第8行中的两个值的用途?它们基本上是算法3.2中的Lic的初始偏移/偏差吗 《机器学习》一书的作者凯文·p·墨菲(Kevin p.Murphy)请参见下

我有下面两个方程,它们与朴素贝叶斯分类器的模型拟合和预测算法有关

  • 我试图理解算法3.2的第6行在做什么。我认为它试图通过使用log-sum-exp技巧使数字变得“更好”,我仍然不完全理解这一点。有人能概述一下为什么要这样做吗?具体来说,logsumexp(Li,:)的参数是什么意思

  • logsumexp(Li,:)
  • 还有谁能告诉我算法3.1第8行中的两个值的用途?它们基本上是算法3.2中的
    Lic
    的初始偏移/偏差吗


《机器学习》一书的作者凯文·p·墨菲(Kevin p.Murphy)

请参见下文。如果你想了解更多有关数学的细节,你最好在网上发布

有人能概述一下为什么要/需要使用log sum exp技巧吗

这是为了数值稳定性。如果您搜索“logsumexp”,您将看到几个有用的解释。例如,和。从本质上讲,该程序避免了太大/太小的数字可能出现的数值错误

具体来说,李:的论点是

i
表示获取第i行,而
表示获取该行的所有值。因此,总的来说,Li::表示L的第i行。冒号
用于(及其开源派生的倍频程)表示在为向量或矩阵下标时的“所有索引”

有人能告诉我算法3.1第8行中的两个值的用途吗

这是C类在培训示例中出现的频率

添加一个帽子表示该频率将被用作C类在总体中出现的概率的估计值。根据朴素贝叶斯,我们可以将这些概率视为先验

同样地

当你将注意力限制在C类时,对第j个特征出现的概率的估计。这些是条件概率:p(j | C)=看到给定C类特征j的概率——朴素贝叶斯中的朴素意味着我们假设它们是独立的


注意:为了清晰/方便阐述,您的问题中的引文已稍作修改


编辑以回复您的评论

  • 李:是一个向量
  • N
    是培训示例的编号
  • D
    是数据的维度,即特征的数量(每个特征是矩阵
    x
    中的一列,其行是训练示例)
  • 李是什么?每个Li,c看起来像:c类的先验值乘以所有P(i | c)的乘积,即看到特征的条件概率的乘积,例如给定的c类。请注意,向量Li中只有两个条目,:,每个类对应一个条目(它是二进制分类,因此只有两个类)
使用Bayes定理,Li::的条目可以被解释为c类训练示例i的相对条件概率的日志,给定i的特征(实际上它们不是相对概率,因为它们都需要除以相同的常数,但我们可以安全地忽略)


我不确定算法3.2的第6行。如果您需要做的只是找出您的培训示例属于哪个类,那么在我看来,省略第6行就足够了,对于第7行,使用
argmax
c Lic。也许作者之所以包括第6行是因为pic有特殊的解释?

请参见下文。如果你想了解更多有关数学的细节,你最好在网上发布

有人能概述一下为什么要/需要使用log sum exp技巧吗

这是为了数值稳定性。如果您搜索“logsumexp”,您将看到几个有用的解释。例如,和。从本质上讲,该程序避免了太大/太小的数字可能出现的数值错误

具体来说,李:的论点是

i
表示获取第i行,而
表示获取该行的所有值。因此,总的来说,Li::表示L的第i行。冒号
用于(及其开源派生的倍频程)表示在为向量或矩阵下标时的“所有索引”

有人能告诉我算法3.1第8行中的两个值的用途吗

这是C类在培训示例中出现的频率

添加一个帽子表示该频率将被用作C类在总体中出现的概率的估计值。根据朴素贝叶斯,我们可以将这些概率视为先验

同样地

当你将注意力限制在C类时,对第j个特征出现的概率的估计。这些是条件概率:p(j | C)=看到给定C类特征j的概率——朴素贝叶斯中的朴素意味着我们假设它们是独立的


注意:为了清晰/方便阐述,您的问题中的引文已稍作修改


编辑以回复您的评论

  • 李:是一个向量
  • N
    是培训示例的编号
  • D
    是数据的维度,即特征的数量(每个特征是矩阵
    x
    中的一列,其行是训练示例)
  • 李是什么?每个Li,c看起来像:c类的先验值乘以所有P(i | c)的乘积,即看到特征的条件概率的乘积,例如给定的c类。请注意,向量Li中只有两个条目,:,每个类对应一个条目(它是二进制分类,因此只有两个类)
使用贝叶斯