Neural network 如何计算离线反向传播中每个神经元的激活函数？

在离线反向传播中，在计算每个训练示例时累积误差，并为所有训练示例计算反向传播规则（权重修改器）中的增量。然而，规则实际上是学习速率乘以这个增量和前一层神经元的激活函数f的输出。例如，对于神经元I和神经元J之间的权重，f实际上是I的激活函数

---

我不明白的是，在这种情况下，f的参数是如何取的，因为我们考虑的是不止一个输入示例。是否将其视为每个输入模式的激活函数之和

不，你走错了路。实际上，您可以像在“正常”在线反向传播中那样计算增量，然后在运行所有训练实例后，将增量平均化。注：使用矩阵运算可以轻松实现更高效的计算。