Neural network 反向传播是如何工作的?

Neural network 反向传播是如何工作的?,neural-network,backpropagation,Neural Network,Backpropagation,我对深度学习中使用的反向传播算法有一个问题 当我们有n个训练样本时,我应该如何更新权重 我是否应该更新每个样本的权重,然后再更新下一个样本的权重 或者我应该得到它们的平均值,然后使用平均值 请告诉我什么是合理的程序 谢谢, Afshin它们都是理性的选择。 这两种方法都是正确的。它们分别称为“在线”和“离线”学习 在线学习 在线机器学习用于数据以顺序方式可用的情况(维基百科上的定义摘录) 离线学习 当一个人可以同时访问整个培训数据集时,可以使用离线或“批量”学习。使用批学习的一个优点是提高了

我对深度学习中使用的反向传播算法有一个问题

当我们有n个训练样本时,我应该如何更新权重

  • 我是否应该更新每个样本的权重,然后再更新下一个样本的权重
  • 或者我应该得到它们的平均值,然后使用平均值
请告诉我什么是合理的程序

谢谢, Afshin

它们都是理性的选择。 这两种方法都是正确的。它们分别称为“在线”和“离线”学习

在线学习 在线机器学习用于数据以顺序方式可用的情况(维基百科上的定义摘录)

离线学习 当一个人可以同时访问整个培训数据集时,可以使用离线或“批量”学习。使用批学习的一个优点是提高了对局部最优解的免疫力,但这是以增加网络训练成本为代价的(网络通常需要额外的反向传播迭代)