Machine learning 反向传播算法是独立算法吗

反向传播算法不是独立的算法吗？或者我们是否需要任何其他算法（如贝叶斯算法）来进行神经网络学习？我们是否需要任何概率方法来实现反向传播算法？

反向传播只是计算梯度的一种有效方法图形。这就是全部。您不必使用它（尽管不使用它计算渐变非常昂贵），如何使用它取决于您——使用渐变的方法有很多种。最常见的是使用它来运行一阶优化技术（如SGD、RMSProp或Adam）。因此，为了解决您的问题，当且仅当您的任务是计算梯度时，反向传播就足够了。为了学习神经网络，你至少还需要一个片段——一个实际的学习算法（比如SGD，它实际上是一行代码）。很难说它与其他方法有多“独立”，正如我所说的——梯度可以在任何地方使用。

是独立方法吗？请详细说明你试图解决的问题是什么？实际上我只是在为神经网络训练实现反向传播算法；学习，但我知道我需要其他算法和反向传播一起学习，比如贝叶斯或k-均值反向传播……我的项目是预测糖尿病的专家系统……有必要和反向传播一起实现其他算法吗？或者反向传播就够了？我在这里感到困惑……不是吗调整梯度就是调整权重，调整权重就是学习？反向传播不是调整权重。反向传播应该只计算梯度，而不是应用它们。如果您正在调整权重，这意味着您已经在顶部使用了一些学习方案，可能是SGD（如果您只是以新的\u w\u i-=学习率*梯度\u i的形式更新权重；反向传播本身应该只计算“梯度\u i”），所以delta规则和反向传播是两个不同的实体？是的。Delta rule是简单梯度下降法（通常与BP一起应用）的另一个名称（尽管使用此名称会产生严重误导，因为它表明这是某种“特殊方法”，而它只是最古老的优化技术之一的直接应用）。反向传播是一个术语，用于描述计算梯度wrt的线性方法。对于多层神经网络（一般有向图形系统）中的所有权重，这意味着梯度分布是我们可以用于整个学习过程的算法？